| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-03-06 09:32 Quality Evaluation Framework for Automatically Generated Answers in Japanese Medical VQA Dataset Construction ○Qi Chuanyu・Masahiro Oda・Kensaku Mori（Nagoya Univ.）  MI2025-90 |
|
| 抄録 | （和） | 高品質な医用 VQA には信頼できる監督信号が不可欠であるが，腹部 CT を対象とした専門家ラベル付き日本語 VQA データセットの構築は高コストであり，スケールが難しい．実用的な戦略として，情報密度が高く臨床的に標準化された放射線科所見テキストから Q&A ペアを合成する方法がある．しかし，流暢であっても臨床的に危険な監督信号を避け，放射線科の記載慣習との整合性を担保するためには，回答品質を運用可能な形で定義する必要がある． 本研究では，同一の所見テキストと質問に対し，固定したプロンプトおよびデコーディング条件下で複数の候補回答をサンプリングし，各回答を 7 次元基準で採点することで回答比較データセットを構築する．この 7 次元基準は医学的正確性，情報完全性，論理的に妥当な定式化を重視しつつ，文体および用語の運用も統制する．得られた集約スコアの差分を勝ちおよび引き分けラベルへ変換し，明確な選好と，ほとんど識別不能な近接ケースの双方を反映させる．さらに，スカラー評価器として回答報酬モデルを学習する． 近似的に等価な医用回答に内在する曖昧性を表現するため，引き分け強度を学習可能パラメータとして明示的にモデル化する Davidson モデルを採用し，マージン付き Bradley–Terry モデルと比較する．保持したテストセットの 2,933 順序付きペアにおいて，Davidson モデルは厳密正解率 0.610 を達成し，TieAcc 0.566 および引き分け検出 F1 0.510 により引き分け認識を大幅に改善した．一方で，勝敗方向の判別性能も F1 0.727 と高水準を維持した．これらの結果は，引き分けを明示的に扱うことが，よりバランスの取れた判定挙動と滑らかな報酬信号をもたらし，医用 Q&A 生成におけるランキング，フィルタリング，および下流の RLHF 型回答最適化に対して，より信頼できる報酬モデルとなることを示唆する． |
| （英） | High-quality medical VQA requires reliable supervision, yet building expert-labeled Japanese VQA datasets for abdominal CT remains costly and difficult to scale. A practical strategy is to synthesize Q&A pairs from radiology findings text, which is information-dense and clinically standardized, but answer quality must be operationally defined to avoid fluent yet clinically unsafe supervision and to ensure consistency with radiology writing conventions. We construct an answer-comparison dataset by multi-sampling candidate answers under fixed prompting and decoding for the same findings text and question, then scoring each answer with seven-dimension criteria that emphasizes medical correctness, information completeness, and logically valid formulation while also controlling style and terminology. We convert aggregated score gaps into win and tie labels to reflect both decisive preferences and near-indistinguishable cases, and train an answer reward model as a scalar evaluator. To represent the intrinsic ambiguity of near-equivalent medical answers, we adopt the Davidson model that explicitly models ties with a learnable tie strength, and we compare it to margin-based Bradley-Terry models. On a held-out test set of 2{,}933 ordered pairs, the Davidson model achieves strict accuracy 0.610 and substantially improves tie recognition with TieAcc 0.566 and tie-detection F1 0.510, while maintaining strong directional-win performance with F1 0.727. These results indicate that explicit tie modeling yields a better-balanced decision behavior and smoother reward signals, making the reward model more reliable for ranking, filtering, and downstream RLHF-style answer optimization in medical Q&A generation. | |
| キーワード | （和） | VQAデータセット / 選好学習 / 医療用視覚言語モデル / 腹部CT / / / / |
| （英） | VQA dataset / preference learning / medical VLM / abdominal CT / / / / | |
| 文献情報 | 信学技報, vol. 125, no. 395, MI2025-90, pp. 112-115, 2026年3月. | |
| 資料番号 | MI2025-90 | |
| 発行日 | 2026-02-26 (MI) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | MI2025-90 |
|
| 研究会情報 | |
| 研究会 | MI |
| 開催期間 | 2026-03-05 - 2026-03-06 |
| 開催地（和） | 沖縄県青年会館 |
| 開催地（英） | OKINAWAKEN SEINENKAIKAN |
| テーマ（和） | 医用画像処理一般・メディカルイメージング連合フォーラム |
| テーマ（英） | Medical Imaging, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | MI |
| 会議コード | 2026-03-MI |
| 本文の言語 | 英語 |
| タイトル（和） | |
| サブタイトル（和） | |
| タイトル（英） | Quality Evaluation Framework for Automatically Generated Answers in Japanese Medical VQA Dataset Construction |
| サブタイトル（英） | |
| キーワード(1)（和/英） | VQAデータセット / VQA dataset |
| キーワード(2)（和/英） | 選好学習 / preference learning |
| キーワード(3)（和/英） | 医療用視覚言語モデル / medical VLM |
| キーワード(4)（和/英） | 腹部CT / abdominal CT |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 綦 伝禹 / Qi Chuanyu / キ デンウ |
| 第1著者 所属（和/英） | 名古屋大学 (略称： 名大) Nagoya University (略称： Nagoya Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 小田 昌宏 / Masahiro Oda / オダ マサヒロ |
| 第2著者 所属（和/英） | 名古屋大学 (略称： 名大) Nagoya University (略称： Nagoya Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 森 健策 / Kensaku Mori / モリ ケンサク |
| 第3著者 所属（和/英） | 名古屋大学 (略称： 名大) Nagoya University (略称： Nagoya Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-03-06 09:32:00 |
| 発表時間 | 13分 |
| 申込先研究会 | MI |
| 資料番号 | MI2025-90 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.395 |
| ページ範囲 | pp.112-115 |
| ページ数 | 4 |
| 発行日 | 2026-02-26 (MI) |
[研究会発表申込システムのトップページに戻る]