| 講演抄録/キーワード |
| 講演名 |
2026-03-06 12:33
スマートグラス上の三次元解剖構造に対する指差し操作を統合した対話システムの構築 ○木村亘汰・原 武史・周 向栄(岐阜大)・高橋 龍・川本真大(アイテック)・勝又明敏(朝日大)・藤田広志(岐阜大) MI2025-99 |
| 抄録 |
(和) |
大規模言語モデル(LLM)の登場により,拡張現実(AR)は装着者に寄り添う支援システムへの期待が高まる.医療分野では,三次元解剖構造の可視化にARが利用され,LLMとの融合は,立体的な形状の理解支援へ発展が見込まれる.LLMが装着者の関心位置を認識し,説明する機能は,解剖構造に対する補足説明や質問対応に有効である.本研究は,スマートグラスとLLMを統合した対話システムを構築し,関心位置の名称を特定するファインチューンイングにより,解剖構造に対する認識能力の獲得を試みた.評価実験において本システムは,4秒程度の応答速度で動作を実現した.しかし,ファインチューニング後のLLMは,期待する認識精度を達成せず,分析結果は,学習手法における課題を明らかにした. |
| (英) |
The emergence of Large Language Models (LLMs) has increased expectations for Augmented Reality (AR) as a personalized assistive system. While AR is currently used in medicine to visualize 3D anatomical structures, its integration with LLMs is expected to further support the understanding of complex three-dimensional shapes. An LLM’s ability to recognize a user's point of interest and provide explanations is effective for anatomical guidance and Q&A. This study developed a dialogue system integrating smart glasses with an LLM, using fine-tuning to identify anatomical names. Although achieving a four-second response time, the model failed to achieve the expected accuracy, revealing challenges in the training methodology. |
| キーワード |
(和) |
拡張現実 / 複合現実 / 大規模言語モデル / 患者説明支援 / 歯科用コーンビームCT画像 / / / |
| (英) |
Augmented Reality / Mixed Reality / Large Language Models / Informed Consent Support / Dental Cone Beam CT images / / / |
| 文献情報 |
信学技報, vol. 125, no. 395, MI2025-99, pp. 147-150, 2026年3月. |
| 資料番号 |
MI2025-99 |
| 発行日 |
2026-02-26 (MI) |
| ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
| PDFダウンロード |
MI2025-99 |