| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2022-03-29 10:05 リワードマシンを用いる強化学習手法の計算性能とタスク難易度の関係 ○渡邊隆二・田中剛平（東大）  MSS2021-70 NLP2021-141 |
|
| 抄録 | （和） | 強化学習では報酬が即時的に決まらないタスクにおいては学習中に過去の状態遷移の履歴を考慮することが必要である。リワードマシンはタスクを分割しそれぞれの過程における報酬関数を学習する手法で、それを用いた強化学習手法はQ学習などの従来の手法を超える速い学習速度と最適解への収束の保証を与えることが示されている。 本報告では、グリッド状の環境で報酬獲得までのシンボル数や報酬関数の構造、環境の設定が異なる複数のタスクでの数値実験を行い、エピソードごとの報酬獲得率の変化を評価する。また、実験結果をもとにタスク難易度が計算性能に与える影響を論じる。 |
| （英） | In reinforcement learning, it is necessary to take into account the history of past state transitions during learning for tasks where the reward is not immediately determined. Reward Machines are a method that divides a task into parts and learns the reward function for each part of the process. Reinforcement learning methods using the reward machine have been shown to provide faster learning speed than conventional methods such as Q-learning and guarantees convergence to the optimal solution. In this report, we conduct numerical experiments on several tasks in a grid-like environment with different number of symbols to acquire a reward, different structures of reward functions, and different settings of the environment, and evaluate the changes in the rate of reward acquisition for each episode. We also discuss the effect of task difficulty on computational performance based on the experimental results. |
|
| キーワード | （和） | 強化学習 / 非マルコフ決定過程 / リワードマシン / / / / / |
| （英） | Reinforcement learning / Non-Markov decision process / Reward Machines / / / / / | |
| 文献情報 | 信学技報, vol. 121, no. 444, NLP2021-141, pp. 77-82, 2022年3月. | |
| 資料番号 | NLP2021-141 | |
| 発行日 | 2022-03-21 (MSS, NLP) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | MSS2021-70 NLP2021-141 |
|
| 研究会情報 | |
| 研究会 | MSS NLP |
| 開催期間 | 2022-03-28 - 2022-03-29 |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | MSS，NLP，一般，およびWIP（MSSのみ） |
| テーマ（英） | MSS, NLP, Work In Progress (MSS only), and etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | NLP |
| 会議コード | 2022-03-MSS-NLP |
| 本文の言語 | 日本語 |
| タイトル（和） | リワードマシンを用いる強化学習手法の計算性能とタスク難易度の関係 |
| サブタイトル（和） | * |
| タイトル（英） | Relationship between Computational Performance and Task Difficulty of Reinforcement Learning Methods Using Reward Machines |
| サブタイトル（英） | * |
| キーワード(1)（和/英） | 強化学習 / Reinforcement learning |
| キーワード(2)（和/英） | 非マルコフ決定過程 / Non-Markov decision process |
| キーワード(3)（和/英） | リワードマシン / Reward Machines |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 渡邊 隆二 / Ryuji Watanabe / ワタナベ リュウジ |
| 第1著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： The Univ. of Tokyo) |
| 第2著者 氏名（和/英/ヨミ） | 田中 剛平 / Gouhei Tanaka / タナカ ゴウヘイ |
| 第2著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： The Univ. of Tokyo) |
| 講演者 | 第1著者 |
| 発表日時 | 2022-03-29 10:05:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NLP |
| 資料番号 | MSS2021-70, NLP2021-141 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | no.443(MSS), no.444(NLP) |
| ページ範囲 | pp.77-82 |
| ページ数 | 6 |
| 発行日 | 2022-03-21 (MSS, NLP) |
[研究会発表申込システムのトップページに戻る]