| 講演抄録/キーワード |
| 講演名 |
2025-03-03 10:25
複数項目質問に頑健な日本語音声理解モデルの検討 ○高島悠樹・安藤厚志・浅見太一(NTT) EA2024-95 SIP2024-130 SP2024-36 |
| 抄録 |
(和) |
本稿では,日本語向け音声理解モデルの構築及び複数項目質問への頑健性評価を行う.入力音声と指示文に基づいて回答文を生成する音声理解モデルの研究は,これまで英語や中国語音声を主な対象としており,日本語音声に対するモデル構築及び評価は不十分であった.また,発話内容と話者性別などの複数項目を一度に尋ねる複数項目質問を指示文に用いる場合,各項目の回答精度が低下するという課題があった.そこで本稿では,日本語音声理解モデルの構築と評価,及び複数項目質問に頑健なモデル学習手法を提案する.日本語音声理解モデルの学習時には,音声に対する単一項目質問データを用いて初期学習を行い,その後複数項目質問を学習する多段階学習を導入する.初期学習時には音声認識タスクによる事前学習を行い,音韻的特徴の識別能力を強化する.さらに,後半の学習においては,異なる数の質問項目を含む指示文を与えることで,項目数の変化に対する頑健性を向上させる.実験により,既存の多言語音声理解モデルはファインチューニングなしでは日本語音声理解の精度が不十分であること,韻律情報に関するタスクでは音声理解モデルは大規模言語モデルを用いない典型的なタスク特化モデルと同等以上の精度が得られること,提案手法は質問項目数の変化に頑健であることを示す. |
| (英) |
This paper presents a novel Japanese speech understanding model that is robust to multi-item questions. Previous research on speech understanding models, which generate output sentences from input speech and instructions, has primarily focused on English and Chinese speech. Additionally, there has been a challenge to accurately answer to multi-item questions where multiple items, such as speech content and speaker gender, are queried simultaneously. To address these issues, this paper proposes the development and evaluation of a Japanese speech understanding model, as well as a training method robust to multi-item questions. We introduce a two-stage learning framework: single-item questions are used in the first stage of training, while multi-item questions are employed in the second stage. During the first stage of training, pretraining is conducted using a speech recognition task to improve the ability to distinguish phonetic features. Furthermore, during the second stage, diversity in the number of question items in the instructions is introduced to enhance the model’s robustness to variations in the number of question items. Experiments demonstrate that existing multilingual speech understanding models exhibit insufficient accuracy for Japanese speech without fine-tuning, our model achieves performance comparable to task-specific models that do not use LLMs in prosody tasks, and the proposed method improves robustness to variations in the number of question items. |
| キーワード |
(和) |
音声理解 / 音声質問応答 / 大規模言語モデル / 複数項目質問 / / / / |
| (英) |
Speech understanding / speech question answering / large language model / multi-item question / / / / |
| 文献情報 |
信学技報, vol. 124, no. 391, SP2024-36, pp. 109-114, 2025年3月. |
| 資料番号 |
SP2024-36 |
| 発行日 |
2025-02-23 (EA, SIP, SP) |
| ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
| PDFダウンロード |
EA2024-95 SIP2024-130 SP2024-36 |
| 研究会情報 |
| 研究会 |
EA SIP SP IPSJ-SLP |
| 開催期間 |
2025-03-02 - 2025-03-04 |
| 開催地(和) |
沖縄県青年会館 |
| 開催地(英) |
|
| テーマ(和) |
応用/電気音響, 信号処理,音声,一般 |
| テーマ(英) |
|
| 講演論文情報の詳細 |
| 申込み研究会 |
SP |
| 会議コード |
2025-03-EA-SIP-SP-SLP |
| 本文の言語 |
日本語 |
| タイトル(和) |
複数項目質問に頑健な日本語音声理解モデルの検討 |
| サブタイトル(和) |
|
| タイトル(英) |
Study on a Japanese Speech Understanding Model Robust to Multi-Item Questioning |
| サブタイトル(英) |
|
| キーワード(1)(和/英) |
音声理解 / Speech understanding |
| キーワード(2)(和/英) |
音声質問応答 / speech question answering |
| キーワード(3)(和/英) |
大規模言語モデル / large language model |
| キーワード(4)(和/英) |
複数項目質問 / multi-item question |
| キーワード(5)(和/英) |
/ |
| キーワード(6)(和/英) |
/ |
| キーワード(7)(和/英) |
/ |
| キーワード(8)(和/英) |
/ |
| 第1著者 氏名(和/英/ヨミ) |
高島 悠樹 / Yuki Takashima / タカシマ ユウキ |
| 第1著者 所属(和/英) |
日本電信電話株式会社 (略称: NTT)
NTT (略称: NTT) |
| 第2著者 氏名(和/英/ヨミ) |
安藤 厚志 / Atsushi Ando / アンドウ アツシ |
| 第2著者 所属(和/英) |
日本電信電話株式会社 (略称: NTT)
NTT (略称: NTT) |
| 第3著者 氏名(和/英/ヨミ) |
浅見 太一 / Taichi Asami / アサミ タイチ |
| 第3著者 所属(和/英) |
日本電信電話株式会社 (略称: NTT)
NTT (略称: NTT) |
| 第4著者 氏名(和/英/ヨミ) |
/ / |
| 第4著者 所属(和/英) |
(略称: )
(略称: ) |
| 第5著者 氏名(和/英/ヨミ) |
/ / |
| 第5著者 所属(和/英) |
(略称: )
(略称: ) |
| 第6著者 氏名(和/英/ヨミ) |
/ / |
| 第6著者 所属(和/英) |
(略称: )
(略称: ) |
| 第7著者 氏名(和/英/ヨミ) |
/ / |
| 第7著者 所属(和/英) |
(略称: )
(略称: ) |
| 第8著者 氏名(和/英/ヨミ) |
/ / |
| 第8著者 所属(和/英) |
(略称: )
(略称: ) |
| 第9著者 氏名(和/英/ヨミ) |
/ / |
| 第9著者 所属(和/英) |
(略称: )
(略称: ) |
| 第10著者 氏名(和/英/ヨミ) |
/ / |
| 第10著者 所属(和/英) |
(略称: )
(略称: ) |
| 第11著者 氏名(和/英/ヨミ) |
/ / |
| 第11著者 所属(和/英) |
(略称: )
(略称: ) |
| 第12著者 氏名(和/英/ヨミ) |
/ / |
| 第12著者 所属(和/英) |
(略称: )
(略称: ) |
| 第13著者 氏名(和/英/ヨミ) |
/ / |
| 第13著者 所属(和/英) |
(略称: )
(略称: ) |
| 第14著者 氏名(和/英/ヨミ) |
/ / |
| 第14著者 所属(和/英) |
(略称: )
(略称: ) |
| 第15著者 氏名(和/英/ヨミ) |
/ / |
| 第15著者 所属(和/英) |
(略称: )
(略称: ) |
| 第16著者 氏名(和/英/ヨミ) |
/ / |
| 第16著者 所属(和/英) |
(略称: )
(略称: ) |
| 第17著者 氏名(和/英/ヨミ) |
/ / |
| 第17著者 所属(和/英) |
(略称: )
(略称: ) |
| 第18著者 氏名(和/英/ヨミ) |
/ / |
| 第18著者 所属(和/英) |
(略称: )
(略称: ) |
| 第19著者 氏名(和/英/ヨミ) |
/ / |
| 第19著者 所属(和/英) |
(略称: )
(略称: ) |
| 第20著者 氏名(和/英/ヨミ) |
/ / |
| 第20著者 所属(和/英) |
(略称: )
(略称: ) |
| 第21著者 氏名(和/英/ヨミ) |
/ / |
| 第21著者 所属(和/英) |
(略称: )
(略称: ) |
| 第22著者 氏名(和/英/ヨミ) |
/ / |
| 第22著者 所属(和/英) |
(略称: )
(略称: ) |
| 第23著者 氏名(和/英/ヨミ) |
/ / |
| 第23著者 所属(和/英) |
(略称: )
(略称: ) |
| 第24著者 氏名(和/英/ヨミ) |
/ / |
| 第24著者 所属(和/英) |
(略称: )
(略称: ) |
| 第25著者 氏名(和/英/ヨミ) |
/ / |
| 第25著者 所属(和/英) |
(略称: )
(略称: ) |
| 第26著者 氏名(和/英/ヨミ) |
/ / |
| 第26著者 所属(和/英) |
(略称: )
(略称: ) |
| 第27著者 氏名(和/英/ヨミ) |
/ / |
| 第27著者 所属(和/英) |
(略称: )
(略称: ) |
| 第28著者 氏名(和/英/ヨミ) |
/ / |
| 第28著者 所属(和/英) |
(略称: )
(略称: ) |
| 第29著者 氏名(和/英/ヨミ) |
/ / |
| 第29著者 所属(和/英) |
(略称: )
(略称: ) |
| 第30著者 氏名(和/英/ヨミ) |
/ / |
| 第30著者 所属(和/英) |
(略称: )
(略称: ) |
| 第31著者 氏名(和/英/ヨミ) |
/ / |
| 第31著者 所属(和/英) |
(略称: )
(略称: ) |
| 第32著者 氏名(和/英/ヨミ) |
/ / |
| 第32著者 所属(和/英) |
(略称: )
(略称: ) |
| 第33著者 氏名(和/英/ヨミ) |
/ / |
| 第33著者 所属(和/英) |
(略称: )
(略称: ) |
| 第34著者 氏名(和/英/ヨミ) |
/ / |
| 第34著者 所属(和/英) |
(略称: )
(略称: ) |
| 第35著者 氏名(和/英/ヨミ) |
/ / |
| 第35著者 所属(和/英) |
(略称: )
(略称: ) |
| 第36著者 氏名(和/英/ヨミ) |
/ / |
| 第36著者 所属(和/英) |
(略称: )
(略称: ) |
| 講演者 |
第1著者 |
| 発表日時 |
2025-03-03 10:25:00 |
| 発表時間 |
20分 |
| 申込先研究会 |
SP |
| 資料番号 |
EA2024-95, SIP2024-130, SP2024-36 |
| 巻番号(vol) |
vol.124 |
| 号番号(no) |
no.389(EA), no.390(SIP), no.391(SP) |
| ページ範囲 |
pp.109-114 |
| ページ数 |
6 |
| 発行日 |
2025-02-23 (EA, SIP, SP) |
|