| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2025-11-06 17:15 ［ショートペーパー］自己教師あり動画特徴と単語分布整合学習によるLLMに基づく手話翻訳 ○安東芳高・川上 玲（科学大）  PRMU2025-17 |
|
| 抄録 | （和） | 既存の手話翻訳は，手話の中間表現であるグロスに依存し，デコーダオンリーモデルのLLMの活用が少なく，動画からの特徴には時間方向が考慮されていない．本稿では，これらの課題に対して対処し，デコーダオンリーLLMに基づく手話翻訳モデルの学習方法について二つの提案を行う．一つ目は，手話とテキストを共有コードで順序非依存なコードの確率分布として表現し，これらの整合を促す．これにより，手話エンコーダの改善を図る．二つ目は，信頼性の低いフレームには動画特徴を残差注入し，時間情報を補強する．中国手話データセットでベースラインに対し，BLEUスコア等の改善を確認した． |
| （英） | Existing sign language translation relies on gloss, an intermediate representation, makes limited use of decoder-only Large Language Models (LLMs), and fails to consider the temporal dimension of video features. This paper addresses these issues by proposing two methods for training a sign language translation model based on a decoder-only LLM. The first method aims to improve the sign language encoder by representing sign language and text as probability distributions of order-independent codes in a shared code space, thereby promoting their alignment. The second method reinforces temporal information by residually injecting video features into low-confidence frames. On a Chinese Sign Language dataset, we confirmed that our approach improves BLEU scores and other metrics compared to the baseline. | |
| キーワード | （和） | 手話翻訳 / 自己教師あり動画特徴 / 大規模言語モデル / / / / / |
| （英） | Sign Language Translation / Self-supervised Video Features / Large Language Model / / / / / | |
| 文献情報 | 信学技報, vol. 125, no. 229, PRMU2025-17, pp. 57-61, 2025年11月. | |
| 資料番号 | PRMU2025-17 | |
| 発行日 | 2025-10-30 (PRMU) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | PRMU2025-17 |
|
| 研究会情報 | |
| 研究会 | PRMU IPSJ-CVIM IPSJ-CGVI IPSJ-DCC |
| 開催期間 | 2025-11-06 - 2025-11-07 |
| 開催地（和） | 松江テルサ |
| 開催地（英） | Matsue Terrsa |
| テーマ（和） | 歴史をつなぐCG/DCC/CV/PR技術 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | PRMU |
| 会議コード | 2025-11-PRMU-CVIM-CGVI-DCC |
| 本文の言語 | 日本語 |
| タイトル（和） | 自己教師あり動画特徴と単語分布整合学習によるLLMに基づく手話翻訳 |
| サブタイトル（和） | |
| タイトル（英） | Incorporating Self-Supervised Video Features and Word Distribution Matching into LLM-based Sign Language Translation |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 手話翻訳 / Sign Language Translation |
| キーワード(2)（和/英） | 自己教師あり動画特徴 / Self-supervised Video Features |
| キーワード(3)（和/英） | 大規模言語モデル / Large Language Model |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 安東 芳高 / Yoshitaka Ando / アンドウ ヨシタカ |
| 第1著者 所属（和/英） | 東京科学大学 (略称： 科学大) Institute of Science Tokyo (略称： Science Tokyo) |
| 第2著者 氏名（和/英/ヨミ） | 川上 玲 / Rei Kawakami / |
| 第2著者 所属（和/英） | 東京科学大学 (略称： 科学大) Institute of Science Tokyo (略称： Science Tokyo) |
| 講演者 | 第1著者 |
| 発表日時 | 2025-11-06 17:15:00 |
| 発表時間 | 10分 |
| 申込先研究会 | PRMU |
| 資料番号 | PRMU2025-17 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.229 |
| ページ範囲 | pp.57-61 |
| ページ数 | 5 |
| 発行日 | 2025-10-30 (PRMU) |
[研究会発表申込システムのトップページに戻る]