| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2022-03-02 11:35 口唇特徴量を利用した知識蒸留による舌亜全摘出者の音韻明瞭度改善法の検討 ○高島和嗣・阿部匡伸・原 直（岡山大）  EA2021-81 SIP2021-108 SP2021-66 |
|
| 抄録 | （和） | 本報告では舌亜全摘出者が発声する音声の音韻明瞭度改善を目的とした声質変換方式を提案する．舌亜全摘出者は癌治療などにより手術で舌を半分以上摘出した人であり，舌亜全摘出者が発声した音声は健常者と比べると音韻明瞭度が低い．先行研究では，音響情報に加えて補助情報として音素ラベルを用いる声質変換方式が提案され，音韻明瞭度が大きく改善されることが示されている．しかし，実際の場面では，変換時に，発話内容に対応した音素ラベルを用意することは難しい．先行研究の方式を教師モデルとし，知識蒸留をおこなうことによって，合成時に音素ラベルを必要としない生徒モデルを作成することを目指す．知識蒸留をおこなうことによって，知識蒸留をおこなわない方式よりも性能が改善されたが，舌亜全摘出者の音韻明瞭性の改善は十分ではない．そこで，生徒モデルの性能向上のため，口唇情報を追加の特徴量として利用する方式を検討する．CNN-Autoencoder を用いて，口唇情報からボトルネック特徴量を抽出し，追加の入力特徴量として用いる．評価実験では，CNN-Autoencoder の性能，各声質変換方式の変換精度を評価した． |
| （英） | In this paper, we propose a voice conversion method for improving speech intelligibility uttered by glossectomy patients. Because the glossectomy patients remove more than half of their tongue, their speech is less intelligibility compared to healthy persons. In a previous study, a voice conversion method using phoneme labels as auxiliary information in addition to audio information was proposed and it has been shown that the speech intelligibility is greatly improved. However, in actual situations, it is difficult to prepare phoneme labels corresponding to the speech content at the time of conversion. To solve the problem, by introducing knowledge distillation approach, we proposed to train a student model that synthesizes speech without labels, where a model trained using phoneme labels is used as teacher model. Although the performance of the method with knowledge distillation is better than that of the method without knowledge distillation, intelligibility was not imporved enough. Hence, we investigate a method that uses lip information as an additional feature in order to improve the performance of the student model. we extract bottleneck features from lip information and use them as additional input features by using a convolutional autoencoder. In the evaluation experiments, we evaluated the performance of the convolutional autoencoder and the conversion accuracy of each voice conversion method. | |
| キーワード | （和） | 声質変換 / 舌亜全摘出者 / Deep Neural Network / CNN-Autoencoder / 知識蒸留 / / / |
| （英） | Voice Conversion / Glossectomy Patients / Deep Neural Network / CNN-Autoencoder / Knowledge Distillation / / / | |
| 文献情報 | 信学技報, vol. 121, no. 385, SP2021-66, pp. 108-113, 2022年3月. | |
| 資料番号 | SP2021-66 | |
| 発行日 | 2022-02-22 (EA, SIP, SP) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | EA2021-81 SIP2021-108 SP2021-66 |
|
| 研究会情報 | |
| 研究会 | EA SIP SP IPSJ-SLP |
| 開催期間 | 2022-03-01 - 2022-03-02 |
| 開催地（和） | 沖縄県立博物館・美術館 |
| 開催地（英） | |
| テーマ（和） | 応用／電気音響, 信号処理，音声，一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | SP |
| 会議コード | 2022-03-EA-SIP-SP-SLP |
| 本文の言語 | 日本語 |
| タイトル（和） | 口唇特徴量を利用した知識蒸留による舌亜全摘出者の音韻明瞭度改善法の検討 |
| サブタイトル（和） | |
| タイトル（英） | Study of Method for Improving Speech Intelligibility in Glossectomy Patients by Knowledge Distillation via Lip Features |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 声質変換 / Voice Conversion |
| キーワード(2)（和/英） | 舌亜全摘出者 / Glossectomy Patients |
| キーワード(3)（和/英） | Deep Neural Network / Deep Neural Network |
| キーワード(4)（和/英） | CNN-Autoencoder / CNN-Autoencoder |
| キーワード(5)（和/英） | 知識蒸留 / Knowledge Distillation |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 高島 和嗣 / Kazushi Takashima / タカシマ カズシ |
| 第1著者 所属（和/英） | 岡山大学 (略称： 岡山大) Okayama University (略称： Okayama Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 阿部 匡伸 / Masanobu Abe / アベ マサノブ |
| 第2著者 所属（和/英） | 岡山大学 (略称： 岡山大) Okayama University (略称： Okayama Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 原 直 / Sunao Hara / ハラ スナオ |
| 第3著者 所属（和/英） | 岡山大学 (略称： 岡山大) Okayama University (略称： Okayama Univ.) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2022-03-02 11:35:00 |
| 発表時間 | 25分 |
| 申込先研究会 | SP |
| 資料番号 | EA2021-81, SIP2021-108, SP2021-66 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | no.383(EA), no.384(SIP), no.385(SP) |
| ページ範囲 | pp.108-113 |
| ページ数 | 6 |
| 発行日 | 2022-02-22 (EA, SIP, SP) |
[研究会発表申込システムのトップページに戻る]