| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2016-11-17 14:00 Importance Weight Aware Updateによる逐次的自然方策勾配推定 ○岩城 諒（阪大）・横山裕樹（玉川大）・浅田 稔（阪大）  IBISML2016-81 |
|
| 抄録 | （和） | 自然方策勾配法などの強化学習の成功には，適切な学習率の設定が不可欠である．確率的勾配法の適応的学習率として提案された Online importance weight aware update (OIWAU) は，パラメータに対して線形な関数近似器の学習において，パラメータの更新が停留点を越えないこと(safety)を保証し，さらに学習率のメタパラメータを設定する必要がない．特に，二乗損失を利用する場合，OIWAUは簡潔な形式で表現できる．本研究では，自然方策勾配の推定が，線形回帰と二乗損失の最小化として記述できることに着目して，safetyを満たし，かつチューニングの必要ない新たな適応的学習率を提案する．提案手法を古典的なベンチマーク課題に適用し，有用性を評価する． |
| （英） | Appropriate tuning of step-size parameter is crucial for reinforcement learning, as well as other machine learning techniques. For linear regression cases, importance weight aware update (IWAU) guarantees a safety; the updated parameter will not overshoot the stationary point of loss function. If a squared loss is utilized, IWAU can be derived as a simple closed form. In this paper, We focus on the natural policy gradient (NPG) methods, which can be derived as linear function approximation and squared loss, and derive new adaptive step-size for NPG estimation method, which is safe and free from step-size meta-parameter tuning. We confirm the usefulness of the proposed step-size in classical benchmark for natural policy gradient method. | |
| キーワード | （和） | 強化学習 / 自然方策勾配法 / 適応的学習率 / 逐次学習 / importance weight aware update / / / |
| （英） | reinforcement learning / natural policy gradient method / adaptive step-size / incremental learning / importance weight aware update / / / | |
| 文献情報 | 信学技報, vol. 116, no. 300, IBISML2016-81, pp. 251-257, 2016年11月. | |
| 資料番号 | IBISML2016-81 | |
| 発行日 | 2016-11-09 (IBISML) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IBISML2016-81 |
|
| 研究会情報 | |
| 研究会 | IBISML |
| 開催期間 | 2016-11-16 - 2016-11-18 |
| 開催地（和） | 京都大学 |
| 開催地（英） | Kyoto Univ. |
| テーマ（和） | 情報論的学習理論ワークショップ(IBIS2016) |
| テーマ（英） | Information-Based Induction Science Workshop (IBIS2016) |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2016-11-IBISML |
| 本文の言語 | 日本語 |
| タイトル（和） | Importance Weight Aware Updateによる逐次的自然方策勾配推定 |
| サブタイトル（和） | |
| タイトル（英） | Incremental Natural Actor Critic with Importance Weight Aware Update |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 強化学習 / reinforcement learning |
| キーワード(2)（和/英） | 自然方策勾配法 / natural policy gradient method |
| キーワード(3)（和/英） | 適応的学習率 / adaptive step-size |
| キーワード(4)（和/英） | 逐次学習 / incremental learning |
| キーワード(5)（和/英） | importance weight aware update / importance weight aware update |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 岩城 諒 / Ryo Iwaki / イワキ リョウ |
| 第1著者 所属（和/英） | 大阪大学 (略称： 阪大) Osaka University (略称： Osaka Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 横山 裕樹 / Hiroki Yokoyama / ヨコヤマ ヒロキ |
| 第2著者 所属（和/英） | 玉川大学 (略称： 玉川大) Tamagawa University (略称： Tamagawa Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 浅田 稔 / Minoru Asada / アサダ ミノル |
| 第3著者 所属（和/英） | 大阪大学 (略称： 阪大) Osaka University (略称： Osaka Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2016-11-17 14:00:00 |
| 発表時間 | 180分 |
| 申込先研究会 | IBISML |
| 資料番号 | IBISML2016-81 |
| 巻番号（vol） | vol.116 |
| 号番号（no） | no.300 |
| ページ範囲 | pp.251-257 |
| ページ数 | 7 |
| 発行日 | 2016-11-09 (IBISML) |
[研究会発表申込システムのトップページに戻る]