| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-10-14 17:05 Electrolaryngeal Speech Enhancement through Strong Linguistic Encoding Methods ○Lester Phillip Violeta・Wen-Chin Huang・Ding Ma・Ryuichi Yamamoto・Kazuhiro Kobayashi・Tomoki Toda（Nagoya Univ.）  SP2023-33 WIT2023-24 |
|
| 抄録 | （和） | Although pretraining and fine-tuning approaches have proven to work well in speech intelligibility enhancement, various mismatches, such as the speech type mismatch or speaker mismatches between the datasets used in each stage, can deteriorate the conversion performance of this framework. We propose a linguistic encoder robust enough to project both EL and typical speech in the same latent space, while still being able to extract accurate linguistic information, creating a unified representation to reduce the speech type mismatch. Furthermore, we introduce HuBERT output features to the proposed framework for reducing the speaker mismatch. Such a framework makes it possible to effectively use a large-scale parallel dataset during pretraining. We show that compared to the conventional framework using mel-spectrogram input and output features, using the proposed framework enables the model to synthesize more intelligible and naturally sounding speech, as shown by a significant 16% improvement in character error rate and 0.83 improvement in naturalness score. |
| （英） | Although pretraining and fine-tuning approaches have proven to work well in speech intelligibility enhancement, various mismatches, such as the speech type mismatch or speaker mismatches between the datasets used in each stage, can deteriorate the conversion performance of this framework. We propose a linguistic encoder robust enough to project both EL and typical speech in the same latent space, while still being able to extract accurate linguistic information, creating a unified representation to reduce the speech type mismatch. Furthermore, we introduce HuBERT output features to the proposed framework for reducing the speaker mismatch. Such a framework makes it possible to effectively use a large-scale parallel dataset during pretraining. We show that compared to the conventional framework using mel-spectrogram input and output features, using the proposed framework enables the model to synthesize more intelligible and naturally sounding speech, as shown by a significant 16% improvement in character error rate and 0.83 improvement in naturalness score. | |
| キーワード | （和） | Intelligibility enhancement / Electrolaryngeal speech / Atypical speech / / / / / |
| （英） | Intelligibility enhancement / Electrolaryngeal speech / Atypical speech / / / / / | |
| 文献情報 | 信学技報, vol. 123, no. 212, SP2023-33, pp. 33-38, 2023年10月. | |
| 資料番号 | SP2023-33 | |
| 発行日 | 2023-10-07 (SP, WIT) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | SP2023-33 WIT2023-24 |
|
| 研究会情報 | |
| 研究会 | WIT SP IPSJ-SLP |
| 開催期間 | 2023-10-14 - 2023-10-14 |
| 開催地（和） | 九州工業大学（戸畑キャンパス） |
| 開催地（英） | Kyushu Institute of Technology |
| テーマ（和） | 音声と福祉情報工学，一般 |
| テーマ（英） | Speech and Well-being Information Technology, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | SP |
| 会議コード | 2023-10-WIT-SP-SLP |
| 本文の言語 | 英語 |
| タイトル（和） | |
| サブタイトル（和） | |
| タイトル（英） | Electrolaryngeal Speech Enhancement through Strong Linguistic Encoding Methods |
| サブタイトル（英） | |
| キーワード(1)（和/英） | Intelligibility enhancement / Intelligibility enhancement |
| キーワード(2)（和/英） | Electrolaryngeal speech / Electrolaryngeal speech |
| キーワード(3)（和/英） | Atypical speech / Atypical speech |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | Lester Phillip Violeta / Lester Phillip Violeta / |
| 第1著者 所属（和/英） | Nagoya University (略称： 名大) Nagoya University (略称： Nagoya Univ.) |
| 第2著者 氏名（和/英/ヨミ） | Wen-Chin Huang / Wen-Chin Huang / |
| 第2著者 所属（和/英） | Nagoya University (略称： 名大) Nagoya University (略称： Nagoya Univ.) |
| 第3著者 氏名（和/英/ヨミ） | Ding Ma / Ding Ma / |
| 第3著者 所属（和/英） | Nagoya University (略称： 名大) Nagoya University (略称： Nagoya Univ.) |
| 第4著者 氏名（和/英/ヨミ） | Ryuichi Yamamoto / Ryuichi Yamamoto / |
| 第4著者 所属（和/英） | Nagoya University (略称： 名大) Nagoya University (略称： Nagoya Univ.) |
| 第5著者 氏名（和/英/ヨミ） | Kazuhiro Kobayashi / Kazuhiro Kobayashi / |
| 第5著者 所属（和/英） | Nagoya University (略称： 名大) Nagoya University (略称： Nagoya Univ.) |
| 第6著者 氏名（和/英/ヨミ） | Tomoki Toda / Tomoki Toda / |
| 第6著者 所属（和/英） | Nagoya University (略称： 名大) Nagoya University (略称： Nagoya Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-10-14 17:05:00 |
| 発表時間 | 25分 |
| 申込先研究会 | SP |
| 資料番号 | SP2023-33, WIT2023-24 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.212(SP), no.213(WIT) |
| ページ範囲 | pp.33-38 |
| ページ数 | 6 |
| 発行日 | 2023-10-07 (SP, WIT) |
[研究会発表申込システムのトップページに戻る]