| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2011-06-21 14:15 Analysis and Improvement of Policy Gradient Estimation ○Tingting Zhao・Hirotaka Hachiya・Gang Niu・Masashi Sugiyama（Tokyo Inst. of Tech.）  IBISML2011-12 |
|
| 抄録 | （和） | Policy gradient is a useful model-free reinforcement learning approach, but it tends to suffer from instability of gradient estimates. In this paper, we analyze and improve the stability of policy gradient methods. We first prove that the variance of gradient estimates in the PGPE (policy gradients with parameter-based exploration) method is smaller than that of the classical REINFORCE method under a mild assumption. We then derive the optimal baseline for PGPE, which contributes to further reducing the variance. We also theoretically show that PGPE with the optimal baseline is more preferable than REINFORCE with the optimal baseline in terms of the variance of gradient estimates. Finally, we demonstrate the usefulness of the improved PGPE method through experiments. |
| （英） | Policy gradient is a useful model-free reinforcement learning approach, but it tends to suffer from instability of gradient estimates. In this paper, we analyze and improve the stability of policy gradient methods. We first prove that the variance of gradient estimates in the PGPE (policy gradients with parameter-based exploration) method is smaller than that of the classical REINFORCE method under a mild assumption. We then derive the optimal baseline for PGPE, which contributes to further reducing the variance. We also theoretically show that PGPE with the optimal baseline is more preferable than REINFORCE with the optimal baseline in terms of the variance of gradient estimates. Finally, we demonstrate the usefulness of the improved PGPE method through experiments. |
|
| キーワード | （和） | Reinforcement Learning / Policy gradients / Optimal Baseline / / / / / |
| （英） | Reinforcement Learning / Policy gradients / Optimal Baseline / / / / / | |
| 文献情報 | 信学技報, vol. 111, no. 87, IBISML2011-12, pp. 83-89, 2011年6月. | |
| 資料番号 | IBISML2011-12 | |
| 発行日 | 2011-06-13 (IBISML) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IBISML2011-12 |
|
| 研究会情報 | |
| 研究会 | IBISML |
| 開催期間 | 2011-06-20 - 2011-06-21 |
| 開催地（和） | 武田ホール |
| 開催地（英） | Takeda Hall |
| テーマ（和） | 機械学習とその応用 |
| テーマ（英） | Machine learning and its applications |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2011-06-IBISML |
| 本文の言語 | 英語 |
| タイトル（和） | |
| サブタイトル（和） | |
| タイトル（英） | Analysis and Improvement of Policy Gradient Estimation |
| サブタイトル（英） | |
| キーワード(1)（和/英） | Reinforcement Learning / Reinforcement Learning |
| キーワード(2)（和/英） | Policy gradients / Policy gradients |
| キーワード(3)（和/英） | Optimal Baseline / Optimal Baseline |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 趙 テイテイ / Tingting Zhao / チョウ テイテイ |
| 第1著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Inst. of Tech.) |
| 第2著者 氏名（和/英/ヨミ） | 八谷 大岳 / Hirotaka Hachiya / ハチヤ ヒロタカ |
| 第2著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Inst. of Tech.) |
| 第3著者 氏名（和/英/ヨミ） | 牛 剛 / Gang Niu / ギャン ニウ |
| 第3著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Inst. of Tech.) |
| 第4著者 氏名（和/英/ヨミ） | 杉山 将 / Masashi Sugiyama / スギヤマ マサシ |
| 第4著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Inst. of Tech.) |
| 講演者 | 第1著者 |
| 発表日時 | 2011-06-21 14:15:00 |
| 発表時間 | 30分 |
| 申込先研究会 | IBISML |
| 資料番号 | IBISML2011-12 |
| 巻番号（vol） | vol.111 |
| 号番号（no） | no.87 |
| ページ範囲 | pp.83-89 |
| ページ数 | 7 |
| 発行日 | 2011-06-13 (IBISML) |
[研究会発表申込システムのトップページに戻る]