講演抄録/キーワード |
講演名 |
2010-06-15 15:25
New Feature Selection Method for Reinforcement Learning
-- Conditional Mutual Information Reveals Implicit State-Reward Dependency -- ○Hirotaka Hachiya・Masashi Sugiyama(Tokyo Insst. of Tech.) IBISML2010-21 |
抄録 |
(和) |
Model-free reinforcement learning (RL) is a machine learning approach to decision making in unknown environment. However, real-world RL tasks often involve high-dimensional state space, and then standard RL methods do not perform well. In this paper, we propose a new feature selection framework for coping with high dimensionality. Our proposed framework adopts conditional mutual information between state and return sequences as a feature selection criterion, allowing the evaluation of implicit state-reward dependency. The conditional mutual information is approximated by a least-squares method, which results in a computationally efficient feature selection procedure. The usefulness of the proposed method is demonstrated on simulated mobile-robot navigation experiments. |
(英) |
Model-free reinforcement learning (RL) is a machine learning approach to decision making in unknown environment. However, real-world RL tasks often involve high-dimensional state space, and then standard RL methods do not perform well. In this paper, we propose a new feature selection framework for coping with high dimensionality. Our proposed framework adopts conditional mutual information between state and return sequences as a feature selection criterion, allowing the evaluation of implicit state-reward dependency. The conditional mutual information is approximated by a least-squares method, which results in a computationally efficient feature selection procedure. The usefulness of the proposed method is demonstrated on simulated mobile-robot navigation experiments. |
キーワード |
(和) |
/ / / / / / / |
(英) |
reinforcement learning / feature selection / conditional mutual information / / / / / |
文献情報 |
信学技報, vol. 110, no. 76, IBISML2010-21, pp. 139-146, 2010年6月. |
資料番号 |
IBISML2010-21 |
発行日 |
2010-06-07 (IBISML) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
IBISML2010-21 |
研究会情報 |
研究会 |
IBISML |
開催期間 |
2010-06-14 - 2010-06-15 |
開催地(和) |
東大武田ホール |
開催地(英) |
Takeda Hall, Univ. Tokyo |
テーマ(和) |
機械学習とその応用 |
テーマ(英) |
Machine learning, etc. |
講演論文情報の詳細 |
申込み研究会 |
IBISML |
会議コード |
2010-06-IBISML |
本文の言語 |
英語 |
タイトル(和) |
|
サブタイトル(和) |
|
タイトル(英) |
New Feature Selection Method for Reinforcement Learning |
サブタイトル(英) |
Conditional Mutual Information Reveals Implicit State-Reward Dependency |
キーワード(1)(和/英) |
/ reinforcement learning |
キーワード(2)(和/英) |
/ feature selection |
キーワード(3)(和/英) |
/ conditional mutual information |
キーワード(4)(和/英) |
/ |
キーワード(5)(和/英) |
/ |
キーワード(6)(和/英) |
/ |
キーワード(7)(和/英) |
/ |
キーワード(8)(和/英) |
/ |
第1著者 氏名(和/英/ヨミ) |
八谷 大岳 / Hirotaka Hachiya / ハチヤ ヒロタカ |
第1著者 所属(和/英) |
東京工業大学 (略称: 東工大)
Tokyo Institute of Technology (略称: Tokyo Insst. of Tech.) |
第2著者 氏名(和/英/ヨミ) |
杉山 将 / Masashi Sugiyama / スギヤマ マサシ |
第2著者 所属(和/英) |
東京工業大学 (略称: 東工大)
Tokyo Institute of Technology (略称: Tokyo Insst. of Tech.) |
第3著者 氏名(和/英/ヨミ) |
/ / |
第3著者 所属(和/英) |
(略称: )
(略称: ) |
第4著者 氏名(和/英/ヨミ) |
/ / |
第4著者 所属(和/英) |
(略称: )
(略称: ) |
第5著者 氏名(和/英/ヨミ) |
/ / |
第5著者 所属(和/英) |
(略称: )
(略称: ) |
第6著者 氏名(和/英/ヨミ) |
/ / |
第6著者 所属(和/英) |
(略称: )
(略称: ) |
第7著者 氏名(和/英/ヨミ) |
/ / |
第7著者 所属(和/英) |
(略称: )
(略称: ) |
第8著者 氏名(和/英/ヨミ) |
/ / |
第8著者 所属(和/英) |
(略称: )
(略称: ) |
第9著者 氏名(和/英/ヨミ) |
/ / |
第9著者 所属(和/英) |
(略称: )
(略称: ) |
第10著者 氏名(和/英/ヨミ) |
/ / |
第10著者 所属(和/英) |
(略称: )
(略称: ) |
第11著者 氏名(和/英/ヨミ) |
/ / |
第11著者 所属(和/英) |
(略称: )
(略称: ) |
第12著者 氏名(和/英/ヨミ) |
/ / |
第12著者 所属(和/英) |
(略称: )
(略称: ) |
第13著者 氏名(和/英/ヨミ) |
/ / |
第13著者 所属(和/英) |
(略称: )
(略称: ) |
第14著者 氏名(和/英/ヨミ) |
/ / |
第14著者 所属(和/英) |
(略称: )
(略称: ) |
第15著者 氏名(和/英/ヨミ) |
/ / |
第15著者 所属(和/英) |
(略称: )
(略称: ) |
第16著者 氏名(和/英/ヨミ) |
/ / |
第16著者 所属(和/英) |
(略称: )
(略称: ) |
第17著者 氏名(和/英/ヨミ) |
/ / |
第17著者 所属(和/英) |
(略称: )
(略称: ) |
第18著者 氏名(和/英/ヨミ) |
/ / |
第18著者 所属(和/英) |
(略称: )
(略称: ) |
第19著者 氏名(和/英/ヨミ) |
/ / |
第19著者 所属(和/英) |
(略称: )
(略称: ) |
第20著者 氏名(和/英/ヨミ) |
/ / |
第20著者 所属(和/英) |
(略称: )
(略称: ) |
講演者 |
第1著者 |
発表日時 |
2010-06-15 15:25:00 |
発表時間 |
15分 |
申込先研究会 |
IBISML |
資料番号 |
IBISML2010-21 |
巻番号(vol) |
vol.110 |
号番号(no) |
no.76 |
ページ範囲 |
pp.139-146 |
ページ数 |
8 |
発行日 |
2010-06-07 (IBISML) |
|