| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-03-01 09:30 VQ-VAEに基づく解釈可能なアクセント潜在変数を用いた多方言音声合成 ○山内一輝・齋藤佑樹・猿渡 洋（東大）  EA2023-98 SIP2023-145 SP2023-80 |
|
| 抄録 | （和） | 本稿では，目的話者の母方言と同じ方言のテキスト音声合成(Text-to-Speech: TTS)を目的とする "Intra-dialect TTS" および，話者の声質を保ったまま目的話者の母方言と異なる方言のTTSを目的とする "Cross-dialect TTS" という2つのタスクに取り組む．従来法は，東京方言（標準語）を除く方言には入力テキストにアクセントラベルを付与するために必要なアクセント辞書が存在しないという困難を克服するため，アクセント潜在変数(Accent Latent Variable: ALV)を参照音声から抽出するかテキストから予測して方言TTSに利用する．しかし，従来法では参照音声は学習データに含まれる話者による音声に限られ，Cross-dialect TTS については検討されていない．本稿では，任意の話者による参照音声入力や方言に応じた ALV 予測が可能な多方言TTS手法を提案する．実験的評価により，提案手法が特に Cross-dialect TTS において合成音声の方言らしさを向上させることを示す． |
| （英） | In this paper, we address two tasks: "Intra-dialect Text-to-Speech (TTS)," aiming to synthesize speech in the same dialect as the target speaker's mother dialect, and "Cross-dialect TTS," aiming to synthesize speech in a dialect different from the target speaker's mother dialect while preserving the speaker's voice characteristics. Dialect TTS faces the challenge of lacking accent dictionaries needed to assign accent labels to input texts. To overcome this difficulty, conventional methods either extract Accent Latent Variables (ALV) from reference speech or predict them from the text and use them in dialect TTS. However, these conventional methods are limited in that the reference speech is restricted to the speech of speakers included in the training data, and they do not address Cross-dialect TTS. In this paper, we propose a multi-dialect TTS model that allows for reference speech input from any speaker and ALV prediction tailored to the dialect. Experimental evaluations demonstrate that the proposed method significantly improves the dialectal naturalness of synthesized speech, particularly in the context of Cross-dialect TTS. | |
| キーワード | （和） | DNN音声合成 / 方言音声合成 / Cross-dialect TTS / VQ-VAE / アクセント潜在変数 / Prosody Transfer / / |
| （英） | DNN Speech Synthesis / Dialect Speech Synthesis / Cross-dialect TTS / VQ-VAE / Accent Latent Variable / Prosody Transfer / / | |
| 文献情報 | 信学技報, vol. 123, no. 403, SP2023-80, pp. 220-225, 2024年2月. | |
| 資料番号 | SP2023-80 | |
| 発行日 | 2024-02-22 (EA, SIP, SP) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | EA2023-98 SIP2023-145 SP2023-80 |
|
| 研究会情報 | |
| 研究会 | SIP SP EA IPSJ-SLP |
| 開催期間 | 2024-02-29 - 2024-03-01 |
| 開催地（和） | 沖縄産業支援センター |
| 開催地（英） | |
| テーマ（和） | 音声，応用／電気音響, 信号処理，一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | SP |
| 会議コード | 2024-02-SIP-SP-EA-SLP |
| 本文の言語 | 日本語 |
| タイトル（和） | VQ-VAEに基づく解釈可能なアクセント潜在変数を用いた多方言音声合成 |
| サブタイトル（和） | |
| タイトル（英） | Multi-Dialect Speech Synthesis with Interpretable Accent latent Variable based on VQ-VAE |
| サブタイトル（英） | |
| キーワード(1)（和/英） | DNN音声合成 / DNN Speech Synthesis |
| キーワード(2)（和/英） | 方言音声合成 / Dialect Speech Synthesis |
| キーワード(3)（和/英） | Cross-dialect TTS / Cross-dialect TTS |
| キーワード(4)（和/英） | VQ-VAE / VQ-VAE |
| キーワード(5)（和/英） | アクセント潜在変数 / Accent Latent Variable |
| キーワード(6)（和/英） | Prosody Transfer / Prosody Transfer |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 山内 一輝 / Kazuki Yamauchi / ヤマウチ カズキ |
| 第1著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： UTokyo) |
| 第2著者 氏名（和/英/ヨミ） | 齋藤 佑樹 / Yuki Saito / サイトウ ユウキ |
| 第2著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： UTokyo) |
| 第3著者 氏名（和/英/ヨミ） | 猿渡 洋 / Hiroshi Saruwatari / サルワタリ ヒロシ |
| 第3著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： UTokyo) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-03-01 09:30:00 |
| 発表時間 | 60分 |
| 申込先研究会 | SP |
| 資料番号 | EA2023-98, SIP2023-145, SP2023-80 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.401(EA), no.402(SIP), no.403(SP) |
| ページ範囲 | pp.220-225 |
| ページ数 | 6 |
| 発行日 | 2024-02-22 (EA, SIP, SP) |
[研究会発表申込システムのトップページに戻る]