| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2025-02-18 15:25 タスク適応的検索拡張学習に基づく観光特化大規模マルチモーダルモデル ○山西博雅・肖 玲・山崎俊彦（東大）  ITS2024-69 IE2024-61 |
|
| 抄録 | （和） | 観光は、世界のGross Domestic Produc (GDP)の10%を占める重要産業である。産業の発展に伴い、1) ユーザーの嗜好分析による体験の個別化と 2) ユーザーの体験共有の負担軽減が課題となっている。既存の観光分野の深層学習モデルは、自然言語処理などの単一モーダルに留まり、異種のマルチモーダル情報処理に課題を抱えている。ChatGPTなどのMultimodal Large Language Model (MLLM)はマルチモーダル情報処理で変革的な役割を果たすが、観光ドメインに特化したMLLMは未だ存在しない。 これらの課題に対し、本研究ではタスク適応型検索拡張学習に基づくTourLMMを提案する。本モデルは観光地予測、画像キャプショニング、観光地推薦、レビュー生成など6つのタスクに対応する。じゃらん.netから収集した50万件の画像と300万件のレビューで構成される観光特化データセットを用いた実験により、提案モデルは全タスクでChatGPT-4oに上回るもしくは匹敵する性能を示した。 |
| （英） | Tourism accounts for 10% of global GDP and represents a significant economic sector. The industry faces two main challenges: 1) analyzing user preferences for tailored experiences and 2) reducing users' effort in sharing experiences. While existing intelligent tourism systems focus on single modalities such as NLP, they struggle with heterogeneous multimodal information. Although Multimodal Large Language Models (MLLMs) such as ChatGPT effectively process multimodal information, no specialized MLLM exists for tourism. We propose TourLMM, a general tourism model based on task-adaptive retrieval-augmented learning. TourLMM supports multiple tasks including spot prediction, image captioning, recommendations, and review generation. We created a tourism dataset of 500,000 images and 3 million reviews from Jalan.net for training and evaluation. Experimental results show TourLMM outperforms state-of-the-art MLLMs across six tasks. | |
| キーワード | （和） | 観光 / マルチモーダル大規模言語モデル / 検索拡張生成 / / / / / |
| （英） | Tourism / Multimodal Large Language Model / Retrieval Augmented Generation / / / / / | |
| 文献情報 | 信学技報, vol. 124, no. 373, IE2024-61, pp. 101-106, 2025年2月. | |
| 資料番号 | IE2024-61 | |
| 発行日 | 2025-02-11 (ITS, IE) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | ITS2024-69 IE2024-61 |
|
| 研究会情報 | |
| 研究会 | ITS IE ITE-MMS ITE-ME ITE-AIT ITE-SIP |
| 開催期間 | 2025-02-18 - 2025-02-19 |
| 開催地（和） | 北海道大学 |
| 開催地（英） | |
| テーマ（和） | 画像処理、一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | IE |
| 会議コード | 2025-02-ITS-IE-MMS-ME-AIT-SIP |
| 本文の言語 | 日本語 |
| タイトル（和） | タスク適応的検索拡張学習に基づく観光特化大規模マルチモーダルモデル |
| サブタイトル（和） | |
| タイトル（英） | TourLMM: Task-Adaptive Retrieval-Augmented Multimodal Model for Tourism Domain |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 観光 / Tourism |
| キーワード(2)（和/英） | マルチモーダル大規模言語モデル / Multimodal Large Language Model |
| キーワード(3)（和/英） | 検索拡張生成 / Retrieval Augmented Generation |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 山西 博雅 / Hiromasa Yamanishi / |
| 第1著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： UTokyo) |
| 第2著者 氏名（和/英/ヨミ） | 肖 玲 / Xiao Ling / |
| 第2著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： UTokyo) |
| 第3著者 氏名（和/英/ヨミ） | 山崎 俊彦 / Toshihiko Yamasaki / |
| 第3著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： UTokyo) |
| 講演者 | 第1著者 |
| 発表日時 | 2025-02-18 15:25:00 |
| 発表時間 | 15分 |
| 申込先研究会 | IE |
| 資料番号 | ITS2024-69, IE2024-61 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.372(ITS), no.373(IE) |
| ページ範囲 | pp.101-106 |
| ページ数 | 6 |
| 発行日 | 2025-02-11 (ITS, IE) |
[研究会発表申込システムのトップページに戻る]