| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-03-03 16:20 LLMを用いた医療面接の総合評価に関する研究 ○森山絢太（長崎大）・遠山修平・村井浩一（システック井上）・川尻真也・山梨啓友（長崎大）・小林 透（駒澤大）・今井哲郎（長崎大）  LOIS2025-76 |
|
| 抄録 | （和） | 医療面接教育では模擬患者を用いた訓練が普及している一方，総合評価は教員の負担が大きく， 評価者間のばらつきが課題である．本研究では，医学生--模擬患者アバターの会話ログ全文から 教員による12段階総合評価を推定する，LLMを用いた医療面接自動評価手法を検討した． 総合評価に必要な根拠情報を段階的に与えるため， OSCEを参考とした質問項目リスト（39項目）達成情報および RIASに基づく発話タグ付けを会話入力に付加し，その効果を比較した． さらに，単一教員評価値の推定，複数教員評価値の平均推定，同時推定を比較した． RIASタグ付き会話ログ71件（3症例）を用いた交差検証の結果， 質問項目達成情報とRIASタグを併用し複数教員評価値を同時学習した条件において， 許容誤差付き一致率84.5%，絶対誤差平均0.887を達成した． 教員間一致率39.4%とばらつきの大きい条件下でも， 構造化情報の付加と学習問題設計により実用的な総合評価推定が可能であることを示した． |
| （英） | Medical interview education widely employs training with simulated patients; however, assigning overall performance scores places a substantial burden on faculty and is affected by considerable inter-rater variability. This study investigates an LLM-based automatic evaluation method that estimates 12-point global ratings assigned by faculty directly from full conversation logs between medical students and simulated patient avatars. To provide evidence required for global assessment in a stepwise manner, achievement information derived from an OSCE-referenced question item list (39 items) and utterance-level annotations based on the Roter Interaction Analysis System (RIAS) were incorporated into the conversation input, and their effects were compared. In addition, we evaluated different learning problem settings, including estimation of single-rater scores, estimation of averaged multi-rater scores, and simultaneous estimation of multiple rater scores. Cross-validation experiments using 71 RIAS-annotated interview logs from three cases demonstrated that the joint incorporation of question item achievement information and RIAS tags with simultaneous multi-rater learning achieved the best performance, yielding a tolerance-based accuracy of 84.5% and a mean absolute error of 0.887. These results indicate that, even under conditions of substantial inter-rater variability (inter-rater agreement of 39.4%), practical estimation of global interview performance is feasible through the integration of structured intermediate evaluation information and appropriate learning problem design. |
|
| キーワード | （和） | 医療面接 / 評価の予測 / 大規模言語モデル / RIAS / OSCE / / / |
| （英） | medical interview / global rating prediction / large language model / RIAS / OSCE / / / | |
| 文献情報 | 信学技報, vol. 125, no. 375, LOIS2025-76, pp. 162-167, 2026年3月. | |
| 資料番号 | LOIS2025-76 | |
| 発行日 | 2026-02-23 (LOIS) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | LOIS2025-76 |
|
| 研究会情報 | |
| 研究会 | LOIS |
| 開催期間 | 2026-03-02 - 2026-03-03 |
| 開催地（和） | 大濱信泉記念館（沖縄・石垣島） |
| 開催地（英） | |
| テーマ（和） | ライフログ活用技術、オフィスインフォメーションシステム、ライフインテリジェンス、および一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | LOIS |
| 会議コード | 2026-03-LOIS |
| 本文の言語 | 日本語 |
| タイトル（和） | LLMを用いた医療面接の総合評価に関する研究 |
| サブタイトル（和） | |
| タイトル（英） | Overall Assessment of Medical Interviews Using Large Language Models |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 医療面接 / medical interview |
| キーワード(2)（和/英） | 評価の予測 / global rating prediction |
| キーワード(3)（和/英） | 大規模言語モデル / large language model |
| キーワード(4)（和/英） | RIAS / RIAS |
| キーワード(5)（和/英） | OSCE / OSCE |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 森山 絢太 / Kenta Moriyama / モリヤマ ケンタ |
| 第1著者 所属（和/英） | 長崎大学 (略称： 長崎大) Nagasaki University (略称： Nagasaki Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 遠山 修平 / Toyama Shuhei / トオヤマ シュウヘイ |
| 第2著者 所属（和/英） | システック井上 (略称： システック井上) Systec Inoue Corporation (略称： Systec Inoue Corporation) |
| 第3著者 氏名（和/英/ヨミ） | 村井 浩一 / Murai Koichi / ムライ コウイチ |
| 第3著者 所属（和/英） | システック井上 (略称： システック井上) Systec Inoue Corporation (略称： Systec Inoue Corporation) |
| 第4著者 氏名（和/英/ヨミ） | 川尻 真也 / Kawashiri Shin-ya / カワシリ シンヤ |
| 第4著者 所属（和/英） | 長崎大学 (略称： 長崎大) Nagasaki University (略称： Nagasaki Univ.) |
| 第5著者 氏名（和/英/ヨミ） | 山梨 啓友 / Hirotomo Yamanashi / ヤマナシ ヒロトモ |
| 第5著者 所属（和/英） | 長崎大学 (略称： 長崎大) Nagasaki University (略称： Nagasaki Univ.) |
| 第6著者 氏名（和/英/ヨミ） | 小林 透 / Kobayashi Toru / コバヤシ トオル |
| 第6著者 所属（和/英） | 駒澤大学 (略称： 駒澤大) Komazawa University (略称： Komazawa Univ.) |
| 第7著者 氏名（和/英/ヨミ） | 今井 哲郎 / Imai Tetsuo / イマイ テツオ |
| 第7著者 所属（和/英） | 長崎大学 (略称： 長崎大) Nagasaki University (略称： Nagasaki Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-03-03 16:20:00 |
| 発表時間 | 25分 |
| 申込先研究会 | LOIS |
| 資料番号 | LOIS2025-76 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.375 |
| ページ範囲 | pp.162-167 |
| ページ数 | 6 |
| 発行日 | 2026-02-23 (LOIS) |
[研究会発表申込システムのトップページに戻る]