| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-06-06 13:00 ［ポスター講演］大規模言語モデル蒸留とViseme補助学習を用いた視覚発話認識 ○駒井陽希・篠田浩一（Science Tokyo）  SP2026-17 |
|
| 抄録 | （和） | 視覚発話認識において，大規模言語モデル（LLM）を推論時にそのまま用いる構成は高い計算負荷を伴う．本稿では，LLMの持つ言語知識を知識蒸留によって軽量なVSRデコーダへ転移し，推論時の計算量を抑える手法VSR-KD-CTCを検討する．提案手法では，デコーダの出力分布を教師LLMの出力分布へ近づける蒸留損失を，通常のクロスエントロピー損失と組み合わせて学習する．これにより，推論時にはLLMを除いたエンコーダ・デコーダ構成のみで認識を行う．LRS2を用いた評価の結果，VSP-LLMとの比較で推論時計算量を1693 GFLOPsから126 GFLOPsへ削減し，総パラメータ数も7251Mから509Mへ削減した．同一の軽量VSR構成におけるアブレーションでは，LLM蒸留によりWERが25.9%から25.4%へ改善し，低計算量化に伴う精度低下を抑制できることを確認した．一方，Viseme予測に基づくCTC補助学習は，本実験条件では追加の改善を示さなかった． |
| （英） | Using a large language model (LLM) as a decoder for visual speech recognition often incurs substantial inference cost. This paper investigates VSR-KD-CTC, a low-cost VSR framework that transfers the linguistic knowledge of an LLM to a lightweight decoder through knowledge distillation. The proposed method combines the standard cross-entropy loss with a distillation loss that aligns the decoder output distribution with that of the teacher LLM. As a result, inference is performed using only a lightweight encoder-decoder architecture without executing the LLM. Experiments on LRS2 show that, compared with VSP-LLM, the proposed method reduces the inference cost from 1693 GFLOPs to 126 GFLOPs and decreases the total parameter count from 7251M to 509M. An ablation study on the same lightweight VSR configuration further shows that LLM distillation improves the WER from 25.9% to 25.4%, indicating that the cost reduction does not require sacrificing recognition accuracy. In contrast, viseme-based CTC auxiliary learning does not provide additional gains under the present experimental conditions. | |
| キーワード | （和） | 視覚発話認識 / 大規模言語モデル / 知識蒸留 / Viseme / CTC / / / |
| （英） | visual speech recognition / large language model / knowledge distillation / Viseme / CTC / / / | |
| 文献情報 | 信学技報, vol. 126, no. 58, SP2026-17, pp. 91-98, 2026年6月. | |
| 資料番号 | SP2026-17 | |
| 発行日 | 2026-05-29 (SP) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | SP2026-17 |
|
| 研究会情報 | |
| 研究会 | SP IPSJ-SLP IPSJ-MUS |
| 開催期間 | 2026-06-05 - 2026-06-06 |
| 開催地（和） | 電気通信大学 |
| 開催地（英） | The University of Electro-Communications |
| テーマ（和） | 音学シンポジウム2026 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | SP |
| 会議コード | 2026-06-SP-SLP-MUS |
| 本文の言語 | 日本語 |
| タイトル（和） | 大規模言語モデル蒸留とViseme補助学習を用いた視覚発話認識 |
| サブタイトル（和） | |
| タイトル（英） | Visual Speech Recognition via Large Language Model Distillation and Viseme-Aware CTC Learning |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 視覚発話認識 / visual speech recognition |
| キーワード(2)（和/英） | 大規模言語モデル / large language model |
| キーワード(3)（和/英） | 知識蒸留 / knowledge distillation |
| キーワード(4)（和/英） | Viseme / Viseme |
| キーワード(5)（和/英） | CTC / CTC |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 駒井 陽希 / Haruki Komai / コマイ ハルキ |
| 第1著者 所属（和/英） | 東京科学大学 (略称： Science Tokyo) Institute of Science Tokyo (略称： Science Tokyo) |
| 第2著者 氏名（和/英/ヨミ） | 篠田 浩一 / Koichi Shinoda / |
| 第2著者 所属（和/英） | 東京科学大学 (略称： Science Tokyo) Institute of Science Tokyo (略称： Science Tokyo) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-06-06 13:00:00 |
| 発表時間 | 180分 |
| 申込先研究会 | SP |
| 資料番号 | SP2026-17 |
| 巻番号（vol） | vol.126 |
| 号番号（no） | no.58 |
| ページ範囲 | pp.91-98 |
| ページ数 | 8 |
| 発行日 | 2026-05-29 (SP) |
[研究会発表申込システムのトップページに戻る]