| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-12-05 10:20 Fine-Tuning LLaVA-Med 1.5 for Automated Biomedical Report Generation on MRI Scans ○Ahmed Tamer ELBoardy・Nouman Muhammad・Essam A. Rashed（UH）  MICT2024-32 MI2024-30 |
|
| 抄録 | （和） | This study explores the use ofLLaVA-Med1.5,a specialized large language and vision model tailored for biomedicine, to generate detailed medical reports for complex cases of brain tumors using MRI scans. As large language models (LLMs) advance in healthcare applications, particularly in diagnostics and medical imaging, LLaVA-Med 1.5 shows potential to support radiologists with specialized report generation. The study utilizes a custom dataset created from the RHUH-GBM dataset, enhanced with expert-generated reports via the ChatGPT-4 API. The methodology involves fine-tuning LLaVA-Med 1.5 using reinforcement learning with human feedback (RLHF), enabling the model to provide domain-specific insights into tumor char acteristics, segmentation, and clinical recommendations. Addressing model limitations, such as image handling constraints, the dataset was adapted to batch MRI modalities, selecting tumor-representative slices to optimize the input. Evaluation results demonstrate that LLaVA-Med 1.5, when quantized to 8-bit and 4-bit precision for computational efficiency, achieved high ac curacy in generating detailed reports aligned with radiological standards. Compared to ChatGPT, LLaVA-Med 1.5’s domain adaptation offers concise, reliable reporting, though further improvements are suggested to enhance multimodal data integration for more comprehensive clinical decision support. |
| （英） | This study explores the use ofLLaVA-Med1.5,a specialized large language and vision model tailored for biomedicine, to generate detailed medical reports for complex cases of brain tumors using MRI scans. As large language models (LLMs) advance in healthcare applications, particularly in diagnostics and medical imaging, LLaVA-Med 1.5 shows potential to support radiologists with specialized report generation. The study utilizes a custom dataset created from the RHUH-GBM dataset, enhanced with expert-generated reports via the ChatGPT-4 API. The methodology involves fine-tuning LLaVA-Med 1.5 using reinforcement learning with human feedback (RLHF), enabling the model to provide domain-specific insights into tumor char acteristics, segmentation, and clinical recommendations. Addressing model limitations, such as image handling constraints, the dataset was adapted to batch MRI modalities, selecting tumor-representative slices to optimize the input. Evaluation results demonstrate that LLaVA-Med 1.5, when quantized to 8-bit and 4-bit precision for computational efficiency, achieved high ac curacy in generating detailed reports aligned with radiological standards. Compared to ChatGPT, LLaVA-Med 1.5’s domain adaptation offers concise, reliable reporting, though further improvements are suggested to enhance multimodal data integration for more comprehensive clinical decision support. |
|
| キーワード | （和） | Fine-tune Llava-Med 1.5 / Medical Image / vision-language model / multimodal learning / / / / |
| （英） | Fine-tune Llava-Med 1.5 / Medical Image / vision-language model / multimodal learning / / / / | |
| 文献情報 | 信学技報, vol. 124, no. 291, MI2024-30, pp. 17-19, 2024年12月. | |
| 資料番号 | MI2024-30 | |
| 発行日 | 2024-11-28 (MICT, MI) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | MICT2024-32 MI2024-30 |
|
| 研究会情報 | |
| 研究会 | MICT MI |
| 開催期間 | 2024-12-05 - 2024-12-05 |
| 開催地（和） | 滋慶医療科学大学 |
| 開催地（英） | Jikei University of Health Care Sciences |
| テーマ（和） | 通信システム、医用画像、一般 |
| テーマ（英） | Communication Systems, Medical Imaging, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | MI |
| 会議コード | 2024-12-MICT-MI |
| 本文の言語 | 英語 |
| タイトル（和） | |
| サブタイトル（和） | |
| タイトル（英） | Fine-Tuning LLaVA-Med 1.5 for Automated Biomedical Report Generation on MRI Scans |
| サブタイトル（英） | |
| キーワード(1)（和/英） | Fine-tune Llava-Med 1.5 / Fine-tune Llava-Med 1.5 |
| キーワード(2)（和/英） | Medical Image / Medical Image |
| キーワード(3)（和/英） | vision-language model / vision-language model |
| キーワード(4)（和/英） | multimodal learning / multimodal learning |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | Ahmed Tamer ELBoardy / Ahmed Tamer ELBoardy / |
| 第1著者 所属（和/英） | University of Hyogo (略称： UH) University of Hyogo (略称： UH) |
| 第2著者 氏名（和/英/ヨミ） | Nouman Muhammad / Nouman Muhammad / |
| 第2著者 所属（和/英） | University of Hyogo (略称： UH) University of Hyogo (略称： UH) |
| 第3著者 氏名（和/英/ヨミ） | Essam A. Rashed / Essam A. Rashed / |
| 第3著者 所属（和/英） | University of Hyogo (略称： UH) University of Hyogo (略称： UH) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-12-05 10:20:00 |
| 発表時間 | 15分 |
| 申込先研究会 | MI |
| 資料番号 | MICT2024-32, MI2024-30 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.290(MICT), no.291(MI) |
| ページ範囲 | pp.17-19 |
| ページ数 | 3 |
| 発行日 | 2024-11-28 (MICT, MI) |
[研究会発表申込システムのトップページに戻る]