| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-12-12 14:50 ［ポスター講演］発話重複を含む会話音声認識のための話者識別CTC損失関数の検討 ○佐久間 旭・佐藤裕明・菅野竜雅・熊野 正・河合吉彦（NHK）・小川哲司（早大）  NLC2024-20 SP2024-11 |
|
| 抄録 | （和） | 本稿では，Connectionist Temporal Classification（CTC）に話者識別機能を統合し，発話重複を含む会話音声認識の精度を向上させる手法を提案する．近年，発話重複への対策として，各話者の発話テキストを連結して学習するSerialized Output Training（SOT）の拡張手法が数多く提案されている．特に，テキストに加えてトークン単位のタイムスタンプなどの補助情報を活用する方法は高い認識精度を達成しているが，そのような情報を実際の会話音声から高精度に取得することは難しい．本稿で提案するSpeaker-Discriminative CTC（SD-CTC）は，encoder出力から各フレームの話者を識別することで，複数話者においてもCTCを適用可能とする．SD-CTCとSOTのマルチタスク学習を行うことで，補助情報を必要とせずにSOTモデルの精度を向上させることができる．疑似的な発話重複音声を用いた評価実験の結果，提案手法はSOTモデルの認識精度を25%向上させ，補助情報を用いた手法と同等の性能を実現した． |
| （英） | In this paper, we propose a novel method Speaker-Discriminative CTC (SD-CTC) to improve speech recognition accuracy on conversations with overlapping utterances by incorporating a speaker discrimination mechanism into Connectionist Temporal Classification (CTC). In recent years, numerous modifications of the Serialized Output Training (SOT) method, which learns by concatenating the speech transcripts of each speaker in order of appearance, have been introduced as a countermeasure to address overlapped speech, in particular methods that use additional auxiliary information, such as token-level timestamps on the transcript, achieve superior accuracy. However, obtaining such information from real conversational speech is challenging. Our proposed SD-CTC enhances the model's ability to distinguish speakers and vocabulary from each encoder output frame in overlapping multi-talker speech. Multi-task learning of the SOT model with SD-CTC improves recognition accuracy without any additional information other than the transcript for each speaker. Experimental evaluation on simulated overlapping speech dataset shows that our proposed method reduces the word error rate by 25% compared to the original SOT model, which achieves comparable performance to methods using auxiliary information. | |
| キーワード | （和） | 音声認識 / 発話重複 / 多話者音声認識 / Serialized Output Training / Connectionist Temporal Classification / SOT / CTC / |
| （英） | Automatic Speech Recognition / Overlapped speech / Multi-Talker Speech Recognition / Serialized Output Training / Connectionist Temporal Classification / SOT / CTC / | |
| 文献情報 | 信学技報, vol. 124, no. 303, SP2024-11, pp. 6-11, 2024年12月. | |
| 資料番号 | SP2024-11 | |
| 発行日 | 2024-12-05 (NLC, SP) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NLC2024-20 SP2024-11 |
|
| 研究会情報 | |
| 研究会 | SP NLC IPSJ-SLP IPSJ-NL |
| 開催期間 | 2024-12-12 - 2024-12-14 |
| 開催地（和） | 名古屋大学 |
| 開催地（英） | Nagoya Univ. |
| テーマ（和） | 第26回音声言語および第11回自然言語処理シンポジウム |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | SP |
| 会議コード | 2024-12-SP-NLC-SLP-NL |
| 本文の言語 | 日本語 |
| タイトル（和） | 発話重複を含む会話音声認識のための話者識別CTC損失関数の検討 |
| サブタイトル（和） | |
| タイトル（英） | Speaker-Discriminative CTC for Multi-Talker Speech Recognition |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 音声認識 / Automatic Speech Recognition |
| キーワード(2)（和/英） | 発話重複 / Overlapped speech |
| キーワード(3)（和/英） | 多話者音声認識 / Multi-Talker Speech Recognition |
| キーワード(4)（和/英） | Serialized Output Training / Serialized Output Training |
| キーワード(5)（和/英） | Connectionist Temporal Classification / Connectionist Temporal Classification |
| キーワード(6)（和/英） | SOT / SOT |
| キーワード(7)（和/英） | CTC / CTC |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 佐久間 旭 / Asahi Sakuma / サクマ アサヒ |
| 第1著者 所属（和/英） | 日本放送協会 (略称： NHK) NHK Science and Technology Research Laboratories (略称： NHK) |
| 第2著者 氏名（和/英/ヨミ） | 佐藤 裕明 / Hiroaki Sato / サトウ ヒロアキ |
| 第2著者 所属（和/英） | 日本放送協会 (略称： NHK) NHK Science and Technology Research Laboratories (略称： NHK) |
| 第3著者 氏名（和/英/ヨミ） | 菅野 竜雅 / Ryuga Sugano / スガノ リュウガ |
| 第3著者 所属（和/英） | 日本放送協会 (略称： NHK) NHK Science and Technology Research Laboratories (略称： NHK) |
| 第4著者 氏名（和/英/ヨミ） | 熊野 正 / Tadashi Kumano / クマノ タダシ |
| 第4著者 所属（和/英） | 日本放送協会 (略称： NHK) NHK Science and Technology Research Laboratories (略称： NHK) |
| 第5著者 氏名（和/英/ヨミ） | 河合 吉彦 / Yoshihiko Kawai / |
| 第5著者 所属（和/英） | 日本放送協会 (略称： NHK) NHK Science and Technology Research Laboratories (略称： NHK) |
| 第6著者 氏名（和/英/ヨミ） | 小川 哲司 / Tetsuji Ogawa / オガワ テツジ |
| 第6著者 所属（和/英） | 早稲田大学 (略称： 早大) Waseda University (略称： Waseda Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-12-12 14:50:00 |
| 発表時間 | 90分 |
| 申込先研究会 | SP |
| 資料番号 | NLC2024-20, SP2024-11 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.302(NLC), no.303(SP) |
| ページ範囲 | pp.6-11 |
| ページ数 | 6 |
| 発行日 | 2024-12-05 (NLC, SP) |
[研究会発表申込システムのトップページに戻る]