| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-01-18 11:30 LMMによるStudying Papersと内発的報酬を用いた深層強化学習 ○長野颯太・山根 智（金沢大）  MSS2023-64 SS2023-43 |
|
| 抄録 | （和） | 深層強化学習と大規模言語モデル (LLM) を組み合わせた研究は，複雑なタスクを持つオープンワールドゲームにおいても高いスコアを出した．しかし，LLM ではゲームの見た目を表す画像を扱うことができず，環境の状態を自然言語で記述する必要があった．そこで，我々は画像と言語の両方を扱える大規模マルチモーダルモデル (LMM) を利用した深層強化学習手法 (LMMPaIR) を提案する．本研究では LMM を用いて，環境についての論文内の図およびキャプションから，ゲームを成功させるための情報を抽出し，その情報から内発的報酬を生成する．現在，LMMPaIR を強化学習アルゴリズム PPO と組み合わせ，Crafter 環境において実験を行っている． |
| （英） | Research combining deep reinforcement learning with a large language model (LLM) produced high scores even for open-world games with complex tasks. However, LLM cannot handle images that represent the appearance of the game, and natural language is required to describe the state of the environment. Therefore, we propose a deep reinforcement learning method (LMMPaIR) based on a large multimodal model (LMM) that can handle both images and language. We use LMMs to extract information for successful game play from pictures and captions in a paper about the environment, and generate intrinsic rewards from this information. We are currently experimenting with LMMPaIR in combination with the reinforcement learning algorithm PPO in the Crafter. | |
| キーワード | （和） | 機械学習 / 深層強化学習 / 大規模言語モデル / 大規模マルチモーダルモデル / / / / |
| （英） | Machine Learning / Deep Reinforcement Learning / Large Language Model / Large Multimodal Model / / / / | |
| 文献情報 | 信学技報, vol. 123, no. 334, MSS2023-64, pp. 70-75, 2024年1月. | |
| 資料番号 | MSS2023-64 | |
| 発行日 | 2024-01-10 (MSS, SS) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | MSS2023-64 SS2023-43 |
|
| 研究会情報 | |
| 研究会 | SS MSS |
| 開催期間 | 2024-01-17 - 2024-01-18 |
| 開催地（和） | 金沢商工会議所会館（石川県金沢市） |
| 開催地（英） | |
| テーマ（和） | システム数理と応用，ソフトウェアサイエンスおよび一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | MSS |
| 会議コード | 2024-01-SS-MSS |
| 本文の言語 | 日本語 |
| タイトル（和） | LMMによるStudying Papersと内発的報酬を用いた深層強化学習 |
| サブタイトル（和） | |
| タイトル（英） | Deep Reinforcement Learning Using LMM's Studying Papers and Intrinsic Rewards |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 機械学習 / Machine Learning |
| キーワード(2)（和/英） | 深層強化学習 / Deep Reinforcement Learning |
| キーワード(3)（和/英） | 大規模言語モデル / Large Language Model |
| キーワード(4)（和/英） | 大規模マルチモーダルモデル / Large Multimodal Model |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 長野 颯太 / Sota Nagano / ナガノ ソウタ |
| 第1著者 所属（和/英） | 金沢大学 (略称： 金沢大) Kanazawa University (略称： Kanazawa Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 山根 智 / Satoshi Yamane / ヤマネ サトシ |
| 第2著者 所属（和/英） | 金沢大学 (略称： 金沢大) Kanazawa University (略称： Kanazawa Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-01-18 11:30:00 |
| 発表時間 | 25分 |
| 申込先研究会 | MSS |
| 資料番号 | MSS2023-64, SS2023-43 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.334(MSS), no.335(SS) |
| ページ範囲 | pp.70-75 |
| ページ数 | 6 |
| 発行日 | 2024-01-10 (MSS, SS) |
[研究会発表申込システムのトップページに戻る]