| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2020-03-02 15:45 音声認識におけるEncoder-Decoderモデルの注意重みを用いたCTCモデルへの知識蒸留の評価 ○森谷崇史・佐藤 宏・田中智大・芦原孝典・増村 亮・篠原雄介（NTT）  EA2019-131 SIP2019-133 SP2019-80 |
|
| 抄録 | （和） | 本研究ではConnectionist Temporal Classification（CTC）ベースの音声認識システムの性能改善手法について述べる．CTCはハイブリッド音声認識における音響モデルとEnd-to-End（E2E）音声認識モデルの両方で用いることが可能である．しかしながらCTCは学習データに各ラベルを出力するタイミングの情報が含まれていないため， その正しいタイミングを学習することは困難である．この問題に対して本研究ではCTCをフレームレベルで学習するためのラベル作成方法を提案する．具体的には本研究では注意機構付きEncoder-Decoder（S2S）の注意重みをラベル作成に活用したS2SからCTCへの知識蒸留を提案する．本研究ではこの知識蒸留に用いるラベルを``注意行列''と呼ぶ．注意行列は時間情報を持つ注意重みと対応する各出力ラベルの確率情報を持つベクトルの積和により構成され，S2SからCTCへの知識蒸留の損失計算に用いられる．従って，注意行列はCTCモデルの各出力の確率と生起するタイミングを同時にフレームレベルで学習することが可能となる．提案手法の有効性を確認するために日本語音声認識タスクを用いてCTCベースのE2Eおよびカナ音節ベースの音響モデルを構築し，提案手法により構築したモデルはCTC損失のみで学習したモデルよりもそれぞれ10.2%（E2E）/ 9.4%（音響モデル）の相対誤り改善率を達成した． |
| （英） | We present a novel training approach for connectionist temporal classification (CTC) -based automatic speech recognition (ASR) systems. CTC models are promising for building both the conventional acoustic model and the end-to-end (E2E) ASR model. However, CTC models make it difficult to capture the correct timing of each output label because timing is not given explicitly in the training data. In this paper, we propose a new auxiliary task with frame-wise targets for CTC model enhancement. We utilize attention weights generated by an attention-based encoder-decoder model (S2S) for making the targets, called the attention matrix. The attention matrix is the sum of the products of the attention weights (spike timing information) and the corresponding target vectors (probability information), and used for S2S-to-CTC knowledge distillation loss computation. Therefore, the attention matrix makes the CTC models jointly trainable as regards spike timings and their posteriors. Experiments on Japanese ASR tasks demonstrate that our proposal is effective for CTC model training; it achieves a 10.2% (E2E) / 9.4% (acoustic model) relative reduction in the character/kana-syllable error rates compared to models trained using only CTC loss. | |
| キーワード | （和） | 音声認識 / ニューラルネットワーク / connectionist temporal classification / 注意重み / 知識蒸留 / / / |
| （英） | automatic speech recognition / neural network / connectionist temporal classification / attention weight / knowledge distillation / / / | |
| 文献情報 | 信学技報, vol. 119, no. 441, SP2019-80, pp. 175-180, 2020年3月. | |
| 資料番号 | SP2019-80 | |
| 発行日 | 2020-02-24 (EA, SIP, SP) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | EA2019-131 SIP2019-133 SP2019-80 |
|
| 研究会情報 | |
| 研究会 | SP EA SIP |
| 開催期間 | 2020-03-02 - 2020-03-03 |
| 開催地（和） | 沖縄産業支援センター |
| 開催地（英） | Okinawa Industry Support Center |
| テーマ（和） | 音声，応用／電気音響，信号処理，一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | SP |
| 会議コード | 2020-03-SP-EA-SIP |
| 本文の言語 | 日本語 |
| タイトル（和） | 音声認識におけるEncoder-Decoderモデルの注意重みを用いたCTCモデルへの知識蒸留の評価 |
| サブタイトル（和） | |
| タイトル（英） | Performance evaluation of distilling knowledge using encoder-decoder for CTC-based automatic speech recognition systems |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 音声認識 / automatic speech recognition |
| キーワード(2)（和/英） | ニューラルネットワーク / neural network |
| キーワード(3)（和/英） | connectionist temporal classification / connectionist temporal classification |
| キーワード(4)（和/英） | 注意重み / attention weight |
| キーワード(5)（和/英） | 知識蒸留 / knowledge distillation |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 森谷 崇史 / Takafumi Moriya / モリヤ タカフミ |
| 第1著者 所属（和/英） | 日本電信電話株式会社 (略称： NTT) Nippon Telegraph and Telephone Corporation (略称： NTT) |
| 第2著者 氏名（和/英/ヨミ） | 佐藤 宏 / Hiroshi Sato / サトウ ヒロシ |
| 第2著者 所属（和/英） | 日本電信電話株式会社 (略称： NTT) Nippon Telegraph and Telephone Corporation (略称： NTT) |
| 第3著者 氏名（和/英/ヨミ） | 田中 智大 / Tomohiro Tanaka / タナカ トモヒロ |
| 第3著者 所属（和/英） | 日本電信電話株式会社 (略称： NTT) Nippon Telegraph and Telephone Corporation (略称： NTT) |
| 第4著者 氏名（和/英/ヨミ） | 芦原 孝典 / Takanori Ashihara / アシハラ タカノリ |
| 第4著者 所属（和/英） | 日本電信電話株式会社 (略称： NTT) Nippon Telegraph and Telephone Corporation (略称： NTT) |
| 第5著者 氏名（和/英/ヨミ） | 増村 亮 / Ryo Masumura / マスムラ リョウ |
| 第5著者 所属（和/英） | 日本電信電話株式会社 (略称： NTT) Nippon Telegraph and Telephone Corporation (略称： NTT) |
| 第6著者 氏名（和/英/ヨミ） | 篠原 雄介 / Yusuke Shinohara / シノハラ ユウスケ |
| 第6著者 所属（和/英） | 日本電信電話株式会社 (略称： NTT) Nippon Telegraph and Telephone Corporation (略称： NTT) |
| 講演者 | 第1著者 |
| 発表日時 | 2020-03-02 15:45:00 |
| 発表時間 | 25分 |
| 申込先研究会 | SP |
| 資料番号 | EA2019-131, SIP2019-133, SP2019-80 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | no.439(EA), no.440(SIP), no.441(SP) |
| ページ範囲 | pp.175-180 |
| ページ数 | 6 |
| 発行日 | 2020-02-24 (EA, SIP, SP) |
[研究会発表申込システムのトップページに戻る]