| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2016-07-30 09:00 音声認識のための再帰的ニューラルネット言語モデルの識別学習 ○太刀岡勇気（三菱電機）・渡部晋治（MERL）  SP2016-26 |
|
| 抄録 | （和） | リカレントニューラルネット言語モデル(RNN-LM)はnグラム言語モデルよりも長い単語コンテキストを考慮でき，近年，音声認識のタスクにおいてその有効性が広く示されている．しかしながらRNN-LMの学習基準は，予測単語と正解単語のクロスエントロピー(CE)に基づいている．一方で，音響モデルの識別学習や，識別的言語モデル(DLM)のように，識別的基準による学習が，最尤やCE基準に基づくモデルに対して有効であることが示されている．これらは，音声認識の仮説と正解から計算される系列の識別的基準を陽に考慮できるためである．本報では，CEに加えて音声認識の仮説と正解の対数尤度比を識別的基準として考慮するRNN-LMの識別学習法を提案する．提案の学習基準では，学習時に正解ラベルに対する重みを割り引くことで，誤って認識された単語を相対的に正しく認識された単語よりも強調して扱うことができる．大語彙連続音声認識実験により，提案法はRNN-LMのCEでのベースライン性能を向上させた．加えて，提案の識別的RNN-LMとDLMを組み合わせて使うことでより性能が向上することを示した． |
| （英） | A recurrent neural network language model (RNN-LM) can consider a longer word context than an n-gram language model, and its effectiveness has recently been shown for automatic speech recognition (ASR) tasks. However, the training criterion of RNN-LM is simply based on cross entropy (CE) between predicted and reference words. On the other hand, on top of models based on maximum likelihood or CE criteria, discriminative training of acoustic models and discriminative language models (DLM) have shown effectiveness because these criteria explicitly consider sequence discriminative criteria calculated from ASR hypotheses and references. This paper proposes a discriminative training method for RNN-LM by considering a log-likelihood ratio of the ASR hypotheses and references as a discriminative criterion in addition to CE. The proposed training criterion emphasizes the improperly recognized words relatively compared to the correct words where the weights for correct words are discounted in training. Experiments on a large vocabulary continuous speech recognition task show that our proposed method improves the CE based RNN-LM baseline and that combining the proposed discriminative RNN-LM and DLM has its additional effectiveness. | |
| キーワード | （和） | 音声認識 / リカレントニューラルネット / 言語モデル / 識別的基準 / 対数尤度比 / / / |
| （英） | Automatic speech recognition / recurrent neural network / language model / discriminative criterion / log-likelihood ratio / / / | |
| 文献情報 | 信学技報, vol. 116, no. 165, SP2016-26, pp. 33-38, 2016年7月. | |
| 資料番号 | SP2016-26 | |
| 発行日 | 2016-07-21 (SP) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | SP2016-26 |
|
| 研究会情報 | |
| 研究会 | SP IPSJ-SLP |
| 開催期間 | 2016-07-28 - 2016-07-30 |
| 開催地（和） | 滝の湯（山形・天童温泉） |
| 開催地（英） | Takinoyu Hotel |
| テーマ（和） | 認識，理解，対話，一般 |
| テーマ（英） | Speech recognition and understanding, dialog system, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | SP |
| 会議コード | 2016-07-SP-SLP |
| 本文の言語 | 日本語 |
| タイトル（和） | 音声認識のための再帰的ニューラルネット言語モデルの識別学習 |
| サブタイトル（和） | |
| タイトル（英） | Discriminative Training Method of Recurrent Neural Network Language Models for Speech Recognition |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 音声認識 / Automatic speech recognition |
| キーワード(2)（和/英） | リカレントニューラルネット / recurrent neural network |
| キーワード(3)（和/英） | 言語モデル / language model |
| キーワード(4)（和/英） | 識別的基準 / discriminative criterion |
| キーワード(5)（和/英） | 対数尤度比 / log-likelihood ratio |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 太刀岡 勇気 / Yuuki Tachioka / タチオカ ユウキ |
| 第1著者 所属（和/英） | 三菱電機株式会社 (略称： 三菱電機) Mitsubishi Electric (略称： Mitsubishi Electric) |
| 第2著者 氏名（和/英/ヨミ） | 渡部 晋治 / Shinji Watanabe / ワタナベ シンジ |
| 第2著者 所属（和/英） | Mitsubishi Electric Research Laboratories (略称： MERL) Mitsubishi Electric Research Laboratories (略称： MERL) |
| 第3著者 氏名（和/英/ヨミ） | / / |
| 第3著者 所属（和/英） | (略称： ) (略称： ) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2016-07-30 09:00:00 |
| 発表時間 | 30分 |
| 申込先研究会 | SP |
| 資料番号 | SP2016-26 |
| 巻番号（vol） | vol.116 |
| 号番号（no） | no.165 |
| ページ範囲 | pp.33-38 |
| ページ数 | 6 |
| 発行日 | 2016-07-21 (SP) |
[研究会発表申込システムのトップページに戻る]