| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-03-01 10:40 音声認識器の継続学習のためのモデルアベレージング手法における重み設定方法に関する検討 ○品山健太朗・佐藤 宏・岩田具治・森 岳至・浅見太一（NTT）  EA2023-105 SIP2023-152 SP2023-87 |
|
| 抄録 | （和） | 近年，音声認識AIの適用範囲が広がり，日々様々なデータが取得可能になっている．実用上，一つの音声認識モデルを逐次手に入るデータを差分的に利用して更新させていくことは重要である．このようなモデル更新は継続学習と呼ばれる．しかし，機械学習モデルにおける破滅的忘却の問題が音声認識AIにおける継続学習の実現に向けて障壁となっている．破滅的忘却とは新規データを用いて機械学習モデルを更新した際，過去に学習した知識に対する性能が低下する問題である．本研究では破滅的忘却の解決に向けたアプローチとして，異なるデータで学習された複数のモデルを重みづけて加算するモデルアベレージング手法に着目した．従来手法では重みの値を均一に設定していたが，モデルが対応可能な知識の範囲によって重みの値は変動させた方がよいと考えられる．そこで，本研究ではまず適切に重みを設定することによって性能改善が可能であるかを検証した．実験の結果，適切な重み設定によって性能改善が可能であることや，新規データの量や言語によって適切な重みの値が変化することが確認された．次に，適切な重みを決定する要因について分析を行い，モデル更新の際に新規に追加されるデータ量とモデル更新前後におけるパラメータの変動量が適切な重みを決定する要因であることが分かった． |
| （英） | In recent years, the application scope of speech recognition AI has expanded, enabling the acquisition of diverse data daily. Practically, it is crucial to continually update a single speech recognition model with newly acquired data. This model updating process is referred to as continual learning. However, the problem of catastrophic forgetting in machine learning models poses a significant barrier to achieving continuous learning in speech recognition AI. Catastrophic forgetting refers to the issue where the performance of previously learned knowledge deteriorates when updating the model with new data. In this study, we focus on a model averaging approach to solve catastrophic forgetting. Model averaging involves weighting and summing multiple models trained on different datasets. While the conventional method uniformly sets weight values, it is considered beneficial to vary the weights based on the range of knowledge the models can handle. Therefore, in this study, we initially verified whether performance improvement is achievable by appropriately setting the weights. The results confirm that performance improvement is possible through proper weight settings and that the optimal weight values vary based on the amount and domain of new data. Subsequently, we conducted an analysis to identify the factors influencing the determination of appropriate weights. The analysis reveals that the quantity of newly added data and the parameter variation before and after model updates are critical factors in determining optimal weights during continual learning. |
|
| キーワード | （和） | 音声認識 / 継続学習 / 破滅的忘却 / モデルアベレージング / / / / |
| （英） | Automatic Speech Recognition / Continual Learning / Catastrophic Forgetting / Model Averaging / / / / | |
| 文献情報 | 信学技報, vol. 123, no. 403, SP2023-87, pp. 262-267, 2024年2月. | |
| 資料番号 | SP2023-87 | |
| 発行日 | 2024-02-22 (EA, SIP, SP) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | EA2023-105 SIP2023-152 SP2023-87 |
|
| 研究会情報 | |
| 研究会 | SIP SP EA IPSJ-SLP |
| 開催期間 | 2024-02-29 - 2024-03-01 |
| 開催地（和） | 沖縄産業支援センター |
| 開催地（英） | |
| テーマ（和） | 音声，応用／電気音響, 信号処理，一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | SP |
| 会議コード | 2024-02-SIP-SP-EA-SLP |
| 本文の言語 | 日本語 |
| タイトル（和） | 音声認識器の継続学習のためのモデルアベレージング手法における重み設定方法に関する検討 |
| サブタイトル（和） | |
| タイトル（英） | An Investigation into Weighting Strategies for Model Averaging in Continual Learning for Automatic Speech Recognition |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 音声認識 / Automatic Speech Recognition |
| キーワード(2)（和/英） | 継続学習 / Continual Learning |
| キーワード(3)（和/英） | 破滅的忘却 / Catastrophic Forgetting |
| キーワード(4)（和/英） | モデルアベレージング / Model Averaging |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 品山 健太朗 / Kentaro Shinayama / シナヤマ ケンタロウ |
| 第1著者 所属（和/英） | 日本電信電話株式会社 (略称： NTT) NIPPON TELEGRAPH AND TELEPHONE CORPORATION (略称： NTT) |
| 第2著者 氏名（和/英/ヨミ） | 佐藤 宏 / Hiroshi Sato / サトウ ヒロシ |
| 第2著者 所属（和/英） | 日本電信電話株式会社 (略称： NTT) NIPPON TELEGRAPH AND TELEPHONE CORPORATION (略称： NTT) |
| 第3著者 氏名（和/英/ヨミ） | 岩田 具治 / Tomoharu Iwata / イワタ トモハル |
| 第3著者 所属（和/英） | 日本電信電話株式会社 (略称： NTT) NIPPON TELEGRAPH AND TELEPHONE CORPORATION (略称： NTT) |
| 第4著者 氏名（和/英/ヨミ） | 森 岳至 / Takeshi Mori / モリ タケシ |
| 第4著者 所属（和/英） | 日本電信電話株式会社 (略称： NTT) NIPPON TELEGRAPH AND TELEPHONE CORPORATION (略称： NTT) |
| 第5著者 氏名（和/英/ヨミ） | 浅見 太一 / Taichi Asami / アサミ タイチ |
| 第5著者 所属（和/英） | 日本電信電話株式会社 (略称： NTT) NIPPON TELEGRAPH AND TELEPHONE CORPORATION (略称： NTT) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-03-01 10:40:00 |
| 発表時間 | 60分 |
| 申込先研究会 | SP |
| 資料番号 | EA2023-105, SIP2023-152, SP2023-87 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.401(EA), no.402(SIP), no.403(SP) |
| ページ範囲 | pp.262-267 |
| ページ数 | 6 |
| 発行日 | 2024-02-22 (EA, SIP, SP) |
[研究会発表申込システムのトップページに戻る]