| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-03-25 11:15 顔時系列特徴を用いたLLMによる複数人会話動画における話者特定文字起こしの評価 ○工藤佑太・温 依林・菅野裕介（東大）  PRMU2025-61 |
|
| 抄録 | （和） | マルチモーダルLLMが台頭するなか、複数人が会話している動画に対する理解をLLMにより行うことへの検証が乏しい。本研究では、会話音声に加えて動画内の登場人物の顔画像時系列情報を入力としてLLMに与え、コンテクストを踏まえて特定の人物の発話内容の文字起こしを出力するという構造のモデルを学習し、既存のLLMベースでない類似モデルを含めての比較検討を行った。 |
| （英） | As multimodal large language models (LLMs) have gained prominence, there has been limited investigation into using LLMs to understand videos containing multi-person conversations. In this study, we train a model that provides an LLM with conversational audio together with temporal sequences of facial images of individuals appearing in the video, and generates a transcript of the utterances spoken by a specified person while leveraging the conversational context. We also conduct comparative experiments, including against existing non-LLM-based baseline models. | |
| キーワード | （和） | マルチモーダルLLM / 複数人会話 / 音声認識 / / / / / |
| （英） | Multimodal LLM / Multi-speaker conversation / Speech recognition / / / / / | |
| 文献情報 | 信学技報, vol. 125, no. 424, PRMU2025-61, pp. 108-113, 2026年3月. | |
| 資料番号 | PRMU2025-61 | |
| 発行日 | 2026-03-17 (PRMU) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | PRMU2025-61 |
|
| 研究会情報 | |
| 研究会 | PRMU IPSJ-CVIM IBISML ITE-SIP |
| 開催期間 | 2026-03-24 - 2026-03-25 |
| 開催地（和） | あわぎんホール |
| 開催地（英） | |
| テーマ（和） | 人や動物の行動解析、マルチメディア認識技術 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | PRMU |
| 会議コード | 2026-03-PRMU-CVIM-IBISML-SIP |
| 本文の言語 | 日本語 |
| タイトル（和） | 顔時系列特徴を用いたLLMによる複数人会話動画における話者特定文字起こしの評価 |
| サブタイトル（和） | |
| タイトル（英） | Evaluating Speaker-Specific Transcription in Multi-Speaker Conversation Videos Using LLMs with Temporal Facial Features |
| サブタイトル（英） | |
| キーワード(1)（和/英） | マルチモーダルLLM / Multimodal LLM |
| キーワード(2)（和/英） | 複数人会話 / Multi-speaker conversation |
| キーワード(3)（和/英） | 音声認識 / Speech recognition |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 工藤 佑太 / Yuta Kudo / クドウ ユウタ |
| 第1著者 所属（和/英） | 東京大学 (略称： 東大) University of Tokyo (略称： U Tokyo) |
| 第2著者 氏名（和/英/ヨミ） | 温 依林 / Yilin Wen / |
| 第2著者 所属（和/英） | 東京大学 (略称： 東大) University of Tokyo (略称： U Tokyo) |
| 第3著者 氏名（和/英/ヨミ） | 菅野 裕介 / Yusuke Sugano / スガノ ユウスケ |
| 第3著者 所属（和/英） | 東京大学 (略称： 東大) University of Tokyo (略称： U Tokyo) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-03-25 11:15:00 |
| 発表時間 | 15分 |
| 申込先研究会 | PRMU |
| 資料番号 | PRMU2025-61 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.424 |
| ページ範囲 | pp.108-113 |
| ページ数 | 6 |
| 発行日 | 2026-03-17 (PRMU) |
[研究会発表申込システムのトップページに戻る]