| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-03-01 14:20 Vision-Language Model は画像を活用しているか？ ～ 出力文と内部確信変化に基づく分析 ～ ○宮田侑佳・水沼千枝（日本女子大）・奥村紀之（武庫女）・倉光君郎（日本女子大）  NLC2025-19 |
|
| 抄録 | （和） | 視覚言語モデル（VLM）は画像とテキストを統合して処理するが，その出力が実際にどの程度画像情報に基づいて生成されているのかは定量的に評価しづらい． 本研究では，VLMは画像を活用しているのかという問いに対し，画像の有無による内部確信の変化に着目し，層別内部確信指標 $Delta C^{(l)}$ を用いた分析を行う． Projection 型アーキテクチャを採用する2つのVLM（sarashina2-vision-8B，Qwen3-VL-8B）を対象に，各 Transformer層における出力確率分布の変化を測定し，画像情報がどの層で強く影響を及ぼすかを検証した． 実験の結果，モデル間でPeak Layerの分布や $Delta C$ に違いが見られ，画像情報の統合位置や活用のされ方が異なる可能性が示された．また，出力テキストの多様性や長さとの関係から，$Delta C$ が画像入力に伴う生成挙動の変化を捉えていることが確認された．本研究は，VLMにおける画像情報活用を内部状態の変化に基づいて分析するための一つの視点を提供するものである． |
| （英） | Vision-Language Models (VLMs) process information by integrating images and text; however, it remains difficult to quantitatively evaluate the extent to which their outputs are actually grounded in visual information. In this study, we address the question of whether VLMs truly utilize images by focusing on changes in internal confidence caused by the presence or absence of visual input. We conduct a layer-wise analysis using a layer-specific internal confidence metric, $Delta C^{(l)}$. Two VLMs with projection-based architectures, sarashina2-vision-8B and Qwen3-VL-8B, are examined by measuring changes in output probability distributions across Transformer layers to investigate where visual information exerts the strongest influence. Experimental results reveal differences between the models in terms of Peak Layer distributions and the magnitude of $Delta C$, suggesting that the location and manner of visual information integration vary across architectures. Furthermore, analysis of output diversity and length indicates that $Delta C$ captures changes in generation behavior associated with visual input. This study provides one perspective for analyzing visual information utilization in VLMs based on internal state dynamics. |
|
| キーワード | （和） | 視覚言語モデル / 内部確信 / 層別分析 / 視覚-言語統合 / / / / |
| （英） | Vision-Language Model / Internal Confidence / Layer-wise Analysis / Vision-Language Fusion / / / / | |
| 文献情報 | 信学技報, vol. 125, no. 366, NLC2025-19, pp. 40-45, 2026年2月. | |
| 資料番号 | NLC2025-19 | |
| 発行日 | 2026-02-21 (NLC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NLC2025-19 |
|
| 研究会情報 | |
| 研究会 | NLC |
| 開催期間 | 2026-02-28 - 2026-03-01 |
| 開催地（和） | アマホームPLAZA（奄美市市民交流センター） |
| 開催地（英） | |
| テーマ（和） | 方言と言語理解、その他言語処理一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | NLC |
| 会議コード | 2026-03-NLC |
| 本文の言語 | 日本語 |
| タイトル（和） | Vision-Language Model は画像を活用しているか？ |
| サブタイトル（和） | 出力文と内部確信変化に基づく分析 |
| タイトル（英） | Do Vision-Language Models Actually Use Images? |
| サブタイトル（英） | An Analysis Based on Output Text and Internal Confidence Dynamics |
| キーワード(1)（和/英） | 視覚言語モデル / Vision-Language Model |
| キーワード(2)（和/英） | 内部確信 / Internal Confidence |
| キーワード(3)（和/英） | 層別分析 / Layer-wise Analysis |
| キーワード(4)（和/英） | 視覚-言語統合 / Vision-Language Fusion |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 宮田 侑佳 / Yuka Miyata / ミヤタ ユカ |
| 第1著者 所属（和/英） | 日本女子大学 (略称： 日本女子大) Japan Women's University (略称： JWU) |
| 第2著者 氏名（和/英/ヨミ） | 水沼 千枝 / Chie Mizunuma / ミズヌマ チエ |
| 第2著者 所属（和/英） | 日本女子大学 (略称： 日本女子大) Japan Women's University (略称： JWU) |
| 第3著者 氏名（和/英/ヨミ） | 奥村 紀之 / Noriyuki Okumura / オクムラ ノリユキ |
| 第3著者 所属（和/英） | 武庫川女子大学 (略称： 武庫女) Mukogawa Women's University (略称： MWU) |
| 第4著者 氏名（和/英/ヨミ） | 倉光 君郎 / Kimio Kuramitsu / クラミツ キミオ |
| 第4著者 所属（和/英） | 日本女子大学 (略称： 日本女子大) Japan Women's University (略称： JWU) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-03-01 14:20:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NLC |
| 資料番号 | NLC2025-19 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.366 |
| ページ範囲 | pp.40-45 |
| ページ数 | 6 |
| 発行日 | 2026-02-21 (NLC) |
[研究会発表申込システムのトップページに戻る]