| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2016-11-16 15:00 混合ガウス分布を用いたサンプルクラスタリングに基づく方策探索 ○矢野泰樹・前田新一（京大）  IBISML2016-46 |
|
| 抄録 | （和） | EM-based Policy Hyper Parameter Exploration (EPHE)(Wang et al., 2016)は，ステップサイズの設定が不要なEMアルゴリズム型の方策改善と決定論的な方策のもとでも確率的に探索を行うことのできるPolicy Gradient Parameter Exploration (PGPE)(Sehnke et al., 2010)の両方を実現した手法である．しかし，EPHEの性能を高めるためには，方策の更新に用いるサンプル系列を累積報酬の高いものにのみ限定する，エリート選択と呼ばれるヒューリスティクスが必要とされていた．しかし，このエリート選択には理論的な裏付けがなく，なぜこれがうまく働くかはよく理解されていない．本研究では，エリート選択を用いた手法を正当化することを意図して，方策パラメータの事前分布を混合ガウス分布で表現することを考えた．混合ガウス分布で表現することで，エリート選択のようにサンプルを適応的にクラスタリングし，更新に役立てることができる．一方，混合ガウス分布の分散をEMアルゴリズム型の方策改善で決定してしまうと，探索が十分に行われていない場合でも分散を小さくしてしまい，しばしば適切な探索が行えなくなる問題が生じることがわかった．そこで，探索が適切に行われるよう分散の調整を行ったところ，エリートと同等もしくはそれ以上の性能を発揮することが確認できた． |
| （英） | EM-based Policy Hyper Parameter Exploration (EPHE)(Wang et al., 2016) is a method that kills two birds with one stone; it has both advantages of Policy Gradient Parameter Exploration (PGPE)(Sehnke et al., 2010) that can conduct stochastic exploration based on deterministic policy, and an EM-type algorithm that is free of meticulous tuning for stepsize selection. However, EPHE are often forced to introduce rather heuristic rules to create samples to be used for the policy update. We used mixture of Gaussian distribution to justify this heuristic approach. This modification enabled automatic informative selection of the sample set that is free of heuristic post-processing. The results of computer-simulated experiments revealed that EM-based policy search with Gaussian mixture model sometimes fails to find better strategy due to the poor exploration arisen from the shrink of the variance of the cluster during learning. To remedy this failure, we introduced the covariance matrix adaptation mechanism and found that our new algorithm achieved comparable or better performance. | |
| キーワード | （和） | 強化学習 / EM型方策探索 / 混合ガウス / / / / / |
| （英） | Reinforcement Learning / EM-based policy search / Gaussian mixture model / / / / / | |
| 文献情報 | 信学技報, vol. 116, no. 300, IBISML2016-46, pp. 9-15, 2016年11月. | |
| 資料番号 | IBISML2016-46 | |
| 発行日 | 2016-11-09 (IBISML) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IBISML2016-46 |
|
| 研究会情報 | |
| 研究会 | IBISML |
| 開催期間 | 2016-11-16 - 2016-11-18 |
| 開催地（和） | 京都大学 |
| 開催地（英） | Kyoto Univ. |
| テーマ（和） | 情報論的学習理論ワークショップ(IBIS2016) |
| テーマ（英） | Information-Based Induction Science Workshop (IBIS2016) |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2016-11-IBISML |
| 本文の言語 | 日本語 |
| タイトル（和） | 混合ガウス分布を用いたサンプルクラスタリングに基づく方策探索 |
| サブタイトル（和） | |
| タイトル（英） | Policy search based on sample clustering with Gaussian mixture model |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 強化学習 / Reinforcement Learning |
| キーワード(2)（和/英） | EM型方策探索 / EM-based policy search |
| キーワード(3)（和/英） | 混合ガウス / Gaussian mixture model |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 矢野 泰樹 / Taiki Yano / ヤノ タイキ |
| 第1著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 前田 新一 / Shinichi Maeda / マエダ シンイチ |
| 第2著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2016-11-16 15:00:00 |
| 発表時間 | 180分 |
| 申込先研究会 | IBISML |
| 資料番号 | IBISML2016-46 |
| 巻番号（vol） | vol.116 |
| 号番号（no） | no.300 |
| ページ範囲 | pp.9-15 |
| ページ数 | 7 |
| 発行日 | 2016-11-09 (IBISML) |
[研究会発表申込システムのトップページに戻る]