| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-10-14 16:40 Sequence-to-sequence Voice Conversion for Electrolaryngeal Speech Enhancement with Multi-stage Pretraining and Fine-tuning Techniques ○Ding Ma・Lester Phillip Violeta・Kazuhiro Kobayashi・Tomoki Toda（Nagoya Univ.）  SP2023-32 WIT2023-23 |
|
| 抄録 | （和） | Sequence-to-sequence (seq2seq) voice conversion (VC) models have great potential for electrolaryngeal (EL) speech to normal speech converison (EL2SP). However, applying seq2seq VC on EL2SP faces challenges due to the need for vast and high-quality parallel training data. On the other hand, it is difficult to conduct effective transfer learning from normal speech to EL2SP dataset, owing to the substantial differences in acoustic features between EL and normal speech domains. To address above problems, we present novel methods with the multi-stage pretraining and fine-tuning techniques. We first employ encoder adaptation training for a pretrained seq2seq model with imperfect synthetic and original EL data. Then, we incorporate both imperfect synthetic and original parallel data for VC training. The final fine-tuning of EL2SP only uses the original dataset. The experimental results demonstrate that our approach yields significant improvements in EL2SP performance. |
| （英） | Sequence-to-sequence (seq2seq) voice conversion (VC) models have great potential for electrolaryngeal (EL) speech to normal speech converison (EL2SP). However, applying seq2seq VC on EL2SP faces challenges due to the need for vast and high-quality parallel training data. On the other hand, it is difficult to conduct effective transfer learning from normal speech to EL2SP dataset, owing to the substantial differences in acoustic features between EL and normal speech domains. To address above problems, we present novel methods with the multi-stage pretraining and fine-tuning techniques. We first employ encoder adaptation training for a pretrained seq2seq model with imperfect synthetic and original EL data. Then, we incorporate both imperfect synthetic and original parallel data for VC training. The final fine-tuning of EL2SP only uses the original dataset. The experimental results demonstrate that our approach yields significant improvements in EL2SP performance. | |
| キーワード | （和） | Sequence-to-sequence / voice conversion / electrolaryngeal speech / pretraining / fine-tuning / / / |
| （英） | Sequence-to-sequence / voice conversion / electrolaryngeal speech / pretraining / fine-tuning / / / | |
| 文献情報 | 信学技報, vol. 123, no. 212, SP2023-32, pp. 27-32, 2023年10月. | |
| 資料番号 | SP2023-32 | |
| 発行日 | 2023-10-07 (SP, WIT) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | SP2023-32 WIT2023-23 |
|
| 研究会情報 | |
| 研究会 | WIT SP IPSJ-SLP |
| 開催期間 | 2023-10-14 - 2023-10-14 |
| 開催地（和） | 九州工業大学（戸畑キャンパス） |
| 開催地（英） | Kyushu Institute of Technology |
| テーマ（和） | 音声と福祉情報工学，一般 |
| テーマ（英） | Speech and Well-being Information Technology, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | SP |
| 会議コード | 2023-10-WIT-SP-SLP |
| 本文の言語 | 英語 |
| タイトル（和） | |
| サブタイトル（和） | |
| タイトル（英） | Sequence-to-sequence Voice Conversion for Electrolaryngeal Speech Enhancement with Multi-stage Pretraining and Fine-tuning Techniques |
| サブタイトル（英） | |
| キーワード(1)（和/英） | Sequence-to-sequence / Sequence-to-sequence |
| キーワード(2)（和/英） | voice conversion / voice conversion |
| キーワード(3)（和/英） | electrolaryngeal speech / electrolaryngeal speech |
| キーワード(4)（和/英） | pretraining / pretraining |
| キーワード(5)（和/英） | fine-tuning / fine-tuning |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | Ding Ma / Ding Ma / |
| 第1著者 所属（和/英） | Nagoya University (略称： 名大) Nagoya University (略称： Nagoya Univ.) |
| 第2著者 氏名（和/英/ヨミ） | Lester Phillip Violeta / Lester Phillip Violeta / |
| 第2著者 所属（和/英） | Nagoya University (略称： 名大) Nagoya University (略称： Nagoya Univ.) |
| 第3著者 氏名（和/英/ヨミ） | Kazuhiro Kobayashi / Kazuhiro Kobayashi / |
| 第3著者 所属（和/英） | Nagoya University (略称： 名大) Nagoya University (略称： Nagoya Univ.) |
| 第4著者 氏名（和/英/ヨミ） | Tomoki Toda / Tomoki Toda / |
| 第4著者 所属（和/英） | Nagoya University (略称： 名大) Nagoya University (略称： Nagoya Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-10-14 16:40:00 |
| 発表時間 | 25分 |
| 申込先研究会 | SP |
| 資料番号 | SP2023-32, WIT2023-23 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.212(SP), no.213(WIT) |
| ページ範囲 | pp.27-32 |
| ページ数 | 6 |
| 発行日 | 2023-10-07 (SP, WIT) |
[研究会発表申込システムのトップページに戻る]