| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-12-03 11:05 ［ポスター講演］Enhancing Dysarthric Speech Recognition with Auxiliary Feature Fusion Module: Exploring Articulatory-related Features from Foundation Models ○Yuqin Lin・Longbiao Wang・Jianwu Dang（Tianjin Univ. & Univ. of Tokyo）・Nobuaki Minematsu（Univ. of Tokyo）  NLC2023-19 SP2023-39 |
|
| 抄録 | （和） | Addressing dysarthric speech variability in Automatic Speech Recognition (ASR) is crucial for improving human-computer interactions for everyone. This paper proposes the Auxiliary Features Fusion (AFFusion) module, which leverages phonetic and articulatory-related features from models like wav2vec to compensate for distorted acoustics in dysarthric ASR. Experimental results using AFFusion with various feature models demonstrate its effectiveness on dysarthric databases. Interestingly, the analysis suggests that AFFusion shares similarities with human speech perception processes, offering potential insights into addressing fuzzy recognition in dysarthric ASR based on the motor theory of speech perception. |
| （英） | Addressing dysarthric speech variability in Automatic Speech Recognition (ASR) is crucial for improving human-computer interactions for everyone. This paper proposes the Auxiliary Features Fusion (AFFusion) module, which leverages phonetic and articulatory-related features from models like wav2vec to compensate for distorted acoustics in dysarthric ASR. Experimental results using AFFusion with various feature models demonstrate its effectiveness on dysarthric databases. Interestingly, the analysis suggests that AFFusion shares similarities with human speech perception processes, offering potential insights into addressing fuzzy recognition in dysarthric ASR based on the motor theory of speech perception. | |
| キーワード | （和） | Automatic speech recognition / dysarthric speech / features from foundation models / / / / / |
| （英） | Automatic speech recognition / dysarthric speech / features from foundation models / / / / / | |
| 文献情報 | 信学技報, vol. 123, no. 292, SP2023-39, pp. 31-36, 2023年12月. | |
| 資料番号 | SP2023-39 | |
| 発行日 | 2023-11-25 (NLC, SP) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NLC2023-19 SP2023-39 |
|
| 研究会情報 | |
| 研究会 | SP NLC IPSJ-SLP IPSJ-NL |
| 開催期間 | 2023-12-02 - 2023-12-04 |
| 開催地（和） | 機械振興会館 |
| 開催地（英） | Kikai-Shinko-Kaikan Bldg. |
| テーマ（和） | 第25回音声言語および第10回自然言語処理シンポジウム |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | SP |
| 会議コード | 2023-12-SP-NLC-SLP-NL |
| 本文の言語 | 英語 |
| タイトル（和） | |
| サブタイトル（和） | |
| タイトル（英） | Enhancing Dysarthric Speech Recognition with Auxiliary Feature Fusion Module: Exploring Articulatory-related Features from Foundation Models |
| サブタイトル（英） | |
| キーワード(1)（和/英） | Automatic speech recognition / Automatic speech recognition |
| キーワード(2)（和/英） | dysarthric speech / dysarthric speech |
| キーワード(3)（和/英） | features from foundation models / features from foundation models |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | Yuqin Lin / Yuqin Lin / |
| 第1著者 所属（和/英） | Tianjin University (略称： Tianjin Univ. & Univ. of Tokyo) Tianjin University (略称： Tianjin Univ. & Univ. of Tokyo) |
| 第2著者 氏名（和/英/ヨミ） | Longbiao Wang / Longbiao Wang / |
| 第2著者 所属（和/英） | Tianjin University (略称： Tianjin Univ. & Univ. of Tokyo) Tianjin University (略称： Tianjin Univ. & Univ. of Tokyo) |
| 第3著者 氏名（和/英/ヨミ） | Jianwu Dang / Jianwu Dang / |
| 第3著者 所属（和/英） | Tianjin University (略称： Tianjin Univ. & Univ. of Tokyo) Tianjin University (略称： Tianjin Univ. & Univ. of Tokyo) |
| 第4著者 氏名（和/英/ヨミ） | Nobuaki Minematsu / Nobuaki Minematsu / |
| 第4著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： Univ. of Tokyo) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-12-03 11:05:00 |
| 発表時間 | 55分 |
| 申込先研究会 | SP |
| 資料番号 | NLC2023-19, SP2023-39 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.291(NLC), no.292(SP) |
| ページ範囲 | pp.31-36 |
| ページ数 | 6 |
| 発行日 | 2023-11-25 (NLC, SP) |
[研究会発表申込システムのトップページに戻る]