| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2025-01-23 12:30 難関医療工学試験に対する大規模言語モデルの回答精度評価 ○石田 開（湘南工科大）  MICT2024-54 MBE2024-35 |
|
| 抄録 | （和） | 近年，大規模言語モデルの医療分野への応用が進んでいる．また，大規模言語モデルは多くの医療系国家資格に合格可能な知識を有するとされている．一方で，大規模言語モデルの医療工学分野における応用知識や課題解決能力のベンチマークは未知数である．本研究では，第26回～第28回の第1種ME技術実力検定試験を対象とし，ChatGPT（GPT－4o）による回答精度を評価した．平均正答率は，基礎知識で68.4±10.5%，応用知識を問う問題では57.9±5.3%，課題解決能力を問う問題では59.6±8.0%となった．また，選択問題では68.4±13.9%，何らかの記述が必要な問題では59.7±11.3%，計算を要する問題では55.9±17.9%，画像を認識し回答する問題で57.1±14.4%であった．論述試験においては，すべての実施回において，所定の文字数での回答文を生成した． |
| （英） | Recently, large language models (LLM) have quickly gained popularity in medical applications. It has been reported that LLM has potential to pass some national medical and healthcare licenses. However, the benchmark of applied knowledge and problem-solving ability of LLMs in the field of medical engineering is unknown. In this study, we evaluated the performance of ChatGPT (GPT-4o) on 26th to 28th certificate examination for biomedical engineering (Class1). The average correct answer rate for basic, applied and problem solving questions were 68.4%, 57.9% and 59.6%, respectively. The average correct answer rate for multiple choice, written, calculations and image-base questions were 68.4%, 59.7%, 55.9% and 57.1%, respectively. In essay exam, ChatGPT generated an answer sentence with a predetermined number of characters in all exams. | |
| キーワード | （和） | 大規模言語モデル / ChatGPT / 第1種ME技術実力検定試験 / 医学教育 / / / / |
| （英） | Large language model / ChatGPT / Certificate examination for biomedical engineering (Class1) / Medical education / / / / | |
| 文献情報 | 信学技報, vol. 124, no. 351, MICT2024-54, pp. 30-33, 2025年1月. | |
| 資料番号 | MICT2024-54 | |
| 発行日 | 2025-01-16 (MICT, MBE) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | MICT2024-54 MBE2024-35 |
|
| 研究会情報 | |
| 研究会 | MBE MICT IEE-MBE |
| 開催期間 | 2025-01-23 - 2025-01-23 |
| 開催地（和） | 九州工業大学 |
| 開催地（英） | Kyushu Institute of Technology |
| テーマ（和） | MICT, ME, 一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | MICT |
| 会議コード | 2025-01-MBE-MICT-MBE |
| 本文の言語 | 日本語 |
| タイトル（和） | 難関医療工学試験に対する大規模言語モデルの回答精度評価 |
| サブタイトル（和） | |
| タイトル（英） | Analysis of Response of Large Language Model to the Difficult Medical Engineering Examinations |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 大規模言語モデル / Large language model |
| キーワード(2)（和/英） | ChatGPT / ChatGPT |
| キーワード(3)（和/英） | 第1種ME技術実力検定試験 / Certificate examination for biomedical engineering (Class1) |
| キーワード(4)（和/英） | 医学教育 / Medical education |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 石田 開 / Kai Ishida / イシダ カイ |
| 第1著者 所属（和/英） | 湘南工科大学 (略称： 湘南工科大) Shonan Institute of Technology (略称： SIT) |
| 講演者 | 第1著者 |
| 発表日時 | 2025-01-23 12:30:00 |
| 発表時間 | 25分 |
| 申込先研究会 | MICT |
| 資料番号 | MICT2024-54, MBE2024-35 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.351(MICT), no.352(MBE) |
| ページ範囲 | pp.30-33 |
| ページ数 | 4 |
| 発行日 | 2025-01-16 (MICT, MBE) |
[研究会発表申込システムのトップページに戻る]