| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-03-02 10:30 発話映像に基づく音声生成におけるTTS変換モデル及び音声合成モデルの比較評価 ○脇坂 伸・張 波海・齊藤剛史（九工大）  EA2025-76 SIP2025-96 SP2025-29 |
|
| 抄録 | （和） | 従来の読唇技術は，発話内容を推定しテキストへ変換する手法が主流である．しかし，テキストを介する方式では話者固有の声質や抑揚などの音声的特徴を十分に反映することが困難である．さらに，日本語データを用いた検証や，音声生成モデルの構成差に着目した体系的な比較研究は十分に行われていない．そこで本論文では，英語及び日本語のデータセットを用い，Prajwal らが提案したLip2Wav を基盤として，Text-To-Speech 変換モデルと音声合成モデルを組み合わせた4 通りのモデルを構築する．これらのモデルに対し，生成音声の品質及び自然性の観点から比較評価を行う．さらに，学習データの違いやファインチューニングの適用条件を変えた実験を実施し，モデル構成及び学習条件が音声生成性能に与える影響を明らかにする． |
| （英） | Conventional lip-reading techniques predominantly focus on estimating spoken content from visual input and converting it into text. However, text-based approaches have difficulty preserving speaker-specific acoustic characteristics such as voice quality and prosody. Moreover, systematic comparative studies that examine differences in speech generation model configurations, as well as evaluations using Japanese datasets, remain limited. In this paper, we use both English and Japanese datasets and build four model configurations based on Lip2Wav proposed by Prajwal et al., combining Text-to-Speech (TTS) conversion models with speech synthesis models. These models are comparatively evaluated in terms of generated speech quality and naturalness. Furthermore, experiments are conducted under varying training data conditions and fine-tuning settings to clarify how model configurations and training conditions influence speech generation performance. |
|
| キーワード | （和） | 読唇 / Lip2Wav / TTS変換モデル / 音声合成モデル / / / / |
| （英） | Lip-reading / Lip2Wav / Text-To-Speech model / Vocoder model / / / / | |
| 文献情報 | 信学技報, vol. 125, no. 371, SP2025-29, pp. 19-24, 2026年3月. | |
| 資料番号 | SP2025-29 | |
| 発行日 | 2026-02-23 (EA, SIP, SP) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | EA2025-76 SIP2025-96 SP2025-29 |
|
| 研究会情報 | |
| 研究会 | SP EA SIP IPSJ-SLP |
| 開催期間 | 2026-03-02 - 2026-03-04 |
| 開催地（和） | 沖縄県青年会館 |
| 開催地（英） | |
| テーマ（和） | 音声，応用／電気音響，信号処理，一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | SP |
| 会議コード | 2026-03-SP-EA-SIP-SLP |
| 本文の言語 | 日本語 |
| タイトル（和） | 発話映像に基づく音声生成におけるTTS変換モデル及び音声合成モデルの比較評価 |
| サブタイトル（和） | |
| タイトル（英） | Comparative Evaluation of TTS Conversion and Speech Synthesis Models for Speech Generation from Visual Speech |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 読唇 / Lip-reading |
| キーワード(2)（和/英） | Lip2Wav / Lip2Wav |
| キーワード(3)（和/英） | TTS変換モデル / Text-To-Speech model |
| キーワード(4)（和/英） | 音声合成モデル / Vocoder model |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 脇坂 伸 / Shin Wakizaka / ワキザカ シン |
| 第1著者 所属（和/英） | 九州工業大学 (略称： 九工大) Kyushu Institute of Technology University (略称： Kyutech) |
| 第2著者 氏名（和/英/ヨミ） | 張 波海 / Haibo Zhang / ジャン ハイボ |
| 第2著者 所属（和/英） | 九州工業大学 (略称： 九工大) Kyushu Institute of Technology University (略称： Kyutech) |
| 第3著者 氏名（和/英/ヨミ） | 齊藤 剛史 / Takeshi Saitoh / サイトウ タケシ |
| 第3著者 所属（和/英） | 九州工業大学 (略称： 九工大) Kyushu Institute of Technology University (略称： Kyutech) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-03-02 10:30:00 |
| 発表時間 | 20分 |
| 申込先研究会 | SP |
| 資料番号 | EA2025-76, SIP2025-96, SP2025-29 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.369(EA), no.370(SIP), no.371(SP) |
| ページ範囲 | pp.19-24 |
| ページ数 | 6 |
| 発行日 | 2026-02-23 (EA, SIP, SP) |
[研究会発表申込システムのトップページに戻る]