| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2025-10-19 15:30 マルチモーダル大規模言語モデルによるアノテーションを用いた脳内意味情報の多言語エンコーディング・デコーディング ○川本敦也（阪大）・小林勇輝・王 佳新・西田知史（NICT）  NC2025-42 |
|
| 抄録 | （和） | 視覚刺激の意味情報に基づいた脳反応の予測（エンコーディング）や, 脳反応からの意味情報の解読（デコーディング）がこれまで試みられ, 脳内意味情報の可視化に対して多大な貢献を収めてきた. しかし, 視覚刺激の意味情報を抽出するためには, 人手による説明文の記述が必要であり, 多大な時間と労力を要する. そこで本研究では, マルチモーダル大規模言語モデル（MLLM）による視覚刺激の説明文生成を利用して, 脳内意味情報のエンコーディング・デコーディング研究の効率化を試みた. その結果, 人手による記述文(アノテーション)を用いた際と同程度の精度でエンコーディング・デコーディングが可能であるとともに, 日本語, 英語, 中国語という異なる言語間でも同等の精度が確認できた. したがって, MLLMの導入は脳内意味情報の研究を加速させるとともに, 脳内意味情報の言語差の探究や, 多言語脳解読の開発に寄与すると期待する. |
| （英） | Previous studies have attempted to predict brain responses based on the semantic information of visual stimuli (encoding) and to decode semantic information from brain activity (decoding), contributing greatly to the investigation of semantic representations in the brain. However, extracting semantic information from visual stimuli requires human-written descriptive annotations, which demand considerable time and effort. In this study, we aimed to streamline research on the encoding and decoding of semantic brain representations by utilizing descriptions automatically generated by multimodal large language models (MLLMs). We demonstrated that encoding and decoding can be performed with comparable accuracy to those using human-written annotations. Furthermore, similar levels of accuracy were achieved across different languages—Japanese, English, and Chinese. These findings suggest that the use of MLLMs can accelerate research on semantic brain representations and contribute to the exploration of cross-linguistic differences in semantic processing and the development of multilingual brain decoding. | |
| キーワード | （和） | 脳内意味情報 / アノテーション / マルチモーダル大規模言語モデル / 脳反応予測 / 多言語脳解読 / / / |
| （英） | ssemantic brain representations / annotations / multimodal large language models / prediction of brain responses / multilingual brain decoding / / / | |
| 文献情報 | 信学技報, vol. 125, no. 205, NC2025-42, pp. 83-88, 2025年10月. | |
| 資料番号 | NC2025-42 | |
| 発行日 | 2025-10-11 (NC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2025-42 |
|
| 研究会情報 | |
| 研究会 | NC MBE |
| 開催期間 | 2025-10-18 - 2025-10-19 |
| 開催地（和） | 東北大学 |
| 開催地（英） | Tohoku University |
| テーマ（和） | NC, ME, 一般 |
| テーマ（英） | NC, ME, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2025-10-NC-MBE |
| 本文の言語 | 日本語 |
| タイトル（和） | マルチモーダル大規模言語モデルによるアノテーションを用いた脳内意味情報の多言語エンコーディング・デコーディング |
| サブタイトル（和） | |
| タイトル（英） | Cross-language Encoding and Decoding of Semantic Brain Representations Using Annotations Generated by Multimodal Large Language Models |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 脳内意味情報 / ssemantic brain representations |
| キーワード(2)（和/英） | アノテーション / annotations |
| キーワード(3)（和/英） | マルチモーダル大規模言語モデル / multimodal large language models |
| キーワード(4)（和/英） | 脳反応予測 / prediction of brain responses |
| キーワード(5)（和/英） | 多言語脳解読 / multilingual brain decoding |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 川本 敦也 / Atsuya Kawamoto / カワモト アツヤ |
| 第1著者 所属（和/英） | 大阪大学/情報通信研究機構 未来ICT研究所 脳情報通信融合研究センター (略称： 阪大) The University of Osaka/NICT CiNet (略称： The Univ of Osaka) |
| 第2著者 氏名（和/英/ヨミ） | 小林 勇輝 / Yuki Kobayashi / コバヤシ ユウキ |
| 第2著者 所属（和/英） | 情報通信研究機構 未来ICT研究所 脳情報通信融合研究センター/立命館大学/大阪大学 (略称： NICT) NICT CiNet/Ritsumeikan University/The University of Osaka (略称： NICT) |
| 第3著者 氏名（和/英/ヨミ） | 王 佳新 / Wang Jiaxin / オウ カシン |
| 第3著者 所属（和/英） | 情報通信研究機構 未来ICT研究所 脳情報通信融合研究センター (略称： NICT) NICT CiNet (略称： NICT) |
| 第4著者 氏名（和/英/ヨミ） | 西田 知史 / Satoshi Nishida / ニシダ サトシ |
| 第4著者 所属（和/英） | 情報通信研究機構 未来ICT研究所 脳情報通信融合研究センター/大阪大学/北海道大学 人間知・脳・AI研究教育センター/総務省 (略称： NICT) NICT CiNet/The University of Osaka/Hokkaido University/Ministry of Internal Affairs and Communications (略称： NICT) |
| 講演者 | 第1著者 |
| 発表日時 | 2025-10-19 15:30:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NC2025-42 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.205 |
| ページ範囲 | pp.83-88 |
| ページ数 | 6 |
| 発行日 | 2025-10-11 (NC) |
[研究会発表申込システムのトップページに戻る]