| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-01-17 14:30 Extrinsicaly Rewarded Soft Q Imitation Learning with Discriminator ○Ryoma Furuyama・Daiki Kuyoshi・Yamane Satoshi（Kanazawa Univ.）  MSS2023-55 SS2023-34 |
|
| 抄録 | （和） | 報酬設計が困難な環境や報酬が疎な環境では、強化学習に加えて模倣学習が用いられることが多いが、少ない専門家データとサンプリングデータから未知の状態でうまく模倣できるようになることは難しい。行動クローニング(BC)のような教師あり学習法は、サンプリングデータを必要としないが、通常、分布シフトに悩まされる。逆強化学習や生成的逆数模倣学習（GAIL）のような強化学習に基づく手法は、少数の専門家データから学習することができる。しかし、これらはしばしば環境との相互作用を必要とする。ソフトQ模倣学習(SQIL)はこのような問題に対処し、一定の報酬を持つ行動クローニングとソフトQ学習を組み合わせることで、効率的に学習できることが示された。このアルゴリズムを分布シフトに対してより頑健にするために、我々はこの手法に、デモに類似した状態の行動をエージェントが行った場合に報酬を与える、敵対的逆強化学習に基づく報酬関数を追加することで、より効率的で頑健なアルゴリズムを提案する。このアルゴリズムをDiscriminator Soft Q Imitation Learning (DSQIL) と呼ぶ。我々はこれをMuJoCo環境で評価した。 |
| （英） | Imitation learning is often used in addition to reinforcement learning in environments where reward design is difficult or where the reward is sparse, but it is difficult to be able to imitate well in unknown states from a small amount of expert data and sampling data. Supervised learning methods such as Behavioral Cloning(BC) do not require sampling data, but usually suffer from distribution shift. The methods based on reinforcement learning, such as inverse reinforcement learning and Generative Adversarial imitation learning (GAIL), can learn from only a few expert data. However, they often need to interact with the environment. Soft Q imitation learning (SQIL) addressed the problems, and it was shown that it could learn efficiently by combining Behavioral Cloning and soft Q-learning with constant rewards. In order to make this algorithm more robust to distribution shift, we propose more efficient and robust algorithm by adding to this method a reward function based on adversarial inverse reinforcement learning that rewards the agent for performing actions in status similar to the demo. We call this algorithm Discriminator Soft Q Imitation Learning (DSQIL) . We evaluated it on MuJoCo environments. | |
| キーワード | （和） | 人工知能 / 機械学習 / 深層強化学習 / 模倣学習 / / / / |
| （英） | Artificial Intelligence / Machine Learning / Deep Reinforcement Learning / Imitation Learning / / / / | |
| 文献情報 | 信学技報, vol. 123, no. 334, MSS2023-55, pp. 19-24, 2024年1月. | |
| 資料番号 | MSS2023-55 | |
| 発行日 | 2024-01-10 (MSS, SS) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | MSS2023-55 SS2023-34 |
|
| 研究会情報 | |
| 研究会 | SS MSS |
| 開催期間 | 2024-01-17 - 2024-01-18 |
| 開催地（和） | 金沢商工会議所会館（石川県金沢市） |
| 開催地（英） | |
| テーマ（和） | システム数理と応用，ソフトウェアサイエンスおよび一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | MSS |
| 会議コード | 2024-01-SS-MSS |
| 本文の言語 | 英語 |
| タイトル（和） | |
| サブタイトル（和） | |
| タイトル（英） | Extrinsicaly Rewarded Soft Q Imitation Learning with Discriminator |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 人工知能 / Artificial Intelligence |
| キーワード(2)（和/英） | 機械学習 / Machine Learning |
| キーワード(3)（和/英） | 深層強化学習 / Deep Reinforcement Learning |
| キーワード(4)（和/英） | 模倣学習 / Imitation Learning |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 古山 諒真 / Ryoma Furuyama / フルヤマ リョウマ |
| 第1著者 所属（和/英） | 金沢大学 (略称： 金沢大) Kanazawa University (略称： Kanazawa Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 久吉 大輝 / Daiki Kuyoshi / クヨシ ダイキ |
| 第2著者 所属（和/英） | 金沢大学 (略称： 金沢大) Kanazawa University (略称： Kanazawa Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 山根 智 / Yamane Satoshi / ヤマネ サトシ |
| 第3著者 所属（和/英） | 金沢大学 (略称： 金沢大) Kanazawa University (略称： Kanazawa Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-01-17 14:30:00 |
| 発表時間 | 25分 |
| 申込先研究会 | MSS |
| 資料番号 | MSS2023-55, SS2023-34 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.334(MSS), no.335(SS) |
| ページ範囲 | pp.19-24 |
| ページ数 | 6 |
| 発行日 | 2024-01-10 (MSS, SS) |
[研究会発表申込システムのトップページに戻る]