| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2012-11-07 15:30 Gaussian process regressionを用いた確率的方策に対する方策勾配法 ○中村 泰・石黒 浩（阪大）  IBISML2012-52 |
|
| 抄録 | （和） | 近年, ガウス過程回帰を用いて価値関数の学習を行う強化学習法が提案されてきた [1]. ガウス過程を用い たベイズ推論により価値関数の推定を行うため, 価値関数の推定値だけでなく, そのばらつきも計算可能であるが, ば らつきを直接的に学習に利用する枠組みとはなっていない. 本研究では, ガウス過程回帰を用いた確率的方策に対する 方策勾配法を導出する. 本手法においては行動選択のばらつきが学習により変化することから, ばらつきの学習により 探索搾取問題を扱うことが可能であると期待できる. 提案手法を倒立振子の振り上げ課題に適用し, 適切な方策を獲得 可能であることを示す. |
| （英） | Reinforcement learning (RL) methods using Gaussian process regression (GP) for approximating the value function have been studied [1]. Thanks to the use of Bayesian reasoning with GPs, the variance of the output can be calculated, but there is no direct benefit by using the variance of the value estimate. In this research, we propose a policy gradient method for a GP based stochastic policy, where the output variance is utilized as the confidence in the action selection. We apply our method to a control task of the swinging up a pendulum, and simulation results show a good controller can be obtained by our method. | |
| キーワード | （和） | 強化学習 / ガウス過程回帰 / 方策勾配法 / 適応制御 / / / / |
| （英） | Reinforcement learning / Gaussian process regression / policy gradient method / adaptive control / / / / | |
| 文献情報 | 信学技報, vol. 112, no. 279, IBISML2012-52, pp. 129-133, 2012年11月. | |
| 資料番号 | IBISML2012-52 | |
| 発行日 | 2012-10-31 (IBISML) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IBISML2012-52 |
|
| 研究会情報 | |
| 研究会 | IBISML |
| 開催期間 | 2012-11-07 - 2012-11-09 |
| 開催地（和） | 筑波大学 東京キャンパス文京校舎 |
| 開催地（英） | Bunkyo School Building, Tokyo Campus, Tsukuba Univ. |
| テーマ（和） | 第15回情報論的学習理論ワークショップ |
| テーマ（英） | the 15th Information-Based Induction Sciences Workshop |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2012-11-IBISML |
| 本文の言語 | 日本語 |
| タイトル（和） | Gaussian process regressionを用いた確率的方策に対する方策勾配法 |
| サブタイトル（和） | |
| タイトル（英） | Stochastic policy gradient method for a stochastic policy using a Gaussian process regression |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 強化学習 / Reinforcement learning |
| キーワード(2)（和/英） | ガウス過程回帰 / Gaussian process regression |
| キーワード(3)（和/英） | 方策勾配法 / policy gradient method |
| キーワード(4)（和/英） | 適応制御 / adaptive control |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 中村 泰 / Yutaka Nakamura / ナカムラ ユタカ |
| 第1著者 所属（和/英） | 大阪大学 (略称： 阪大) Osaka University (略称： Osaka Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 石黒 浩 / Hiroshi Ishiguro / イシグロ ヒロシ |
| 第2著者 所属（和/英） | 大阪大学 (略称： 阪大) Osaka University (略称： Osaka Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2012-11-07 15:30:00 |
| 発表時間 | 150分 |
| 申込先研究会 | IBISML |
| 資料番号 | IBISML2012-52 |
| 巻番号（vol） | vol.112 |
| 号番号（no） | no.279 |
| ページ範囲 | pp.129-133 |
| ページ数 | 5 |
| 発行日 | 2012-10-31 (IBISML) |
[研究会発表申込システムのトップページに戻る]