お知らせ 2023年度・2024年度 学生員 会費割引キャンペーン実施中です
お知らせ 技術研究報告と和文論文誌Cの同時投稿施策(掲載料1割引き)について
お知らせ 電子情報通信学会における研究会開催について
お知らせ NEW 参加費の返金について
電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
[ログイン]
技報アーカイブ
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2012-03-12 15:30
部分観測環境のモデルパラメータに対する徒弟学習
牧野貴樹東大)・竹内誉羽ホンダ・リサーチ・インスティチュート・ジャパンIBISML2011-94
抄録 (和) エキスパートの演示を観測することでタスクを学習する徒弟学習において、環境が部分的にしか観測できず、かつその環境のモデルに不確実性が含まれる問題を考える。このような問題設定は、人間との対話システムなど、対象の明示的なモデリングが困難なアプリケーションの設計に有効である。我々は、エキスパートが対象環境の真のモデルをもとに最適な行動を選択していると仮定することで、演示の背後にある行動決定過程に対する推論を通して対象環境のモデルに関する情報を抽出できることを示す。環境の応答のみに注目して環境モデルを推論する従来手法と比較して、提案する2 種のアルゴリズムは、非常に短い演示からでも環境モデルのパラメータを推定できることを示す。 
(英) We consider apprentice learning, i.e., to make an agent learn a task by observing an expert demonstrating the task, in an partially observable environment when the model of the environment is uncertain. This setting
is useful in applications where the explicit modeling of the environment is difficult, such as dialogue system. We show that we can extract information about the environment model by inferring action selection process behind the demonstration, under the assumption that the expert is choosing optimal actions based on knowledge of the true model of the target environment. We show that our proposed algorithms can estimate the parameter of the environment model with much shorter demonstration compared to learning the model only from the reaction from the environment.
キーワード (和) 強化学習 / 部分観測マルコフ決定過程 / 逆強化学習 / ベイズ推定 / IO-HMM / / /  
(英) Reinforcement Learning / POMDP / Inverse Reinforcement Learning / Bayesian Inference / Input-Output Hidden Markov Model / / /  
文献情報 信学技報, vol. 111, no. 480, IBISML2011-94, pp. 49-54, 2012年3月.
資料番号 IBISML2011-94 
発行日 2012-03-05 (IBISML) 
ISSN Print edition: ISSN 0913-5685    Online edition: ISSN 2432-6380
著作権に
ついて
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034)
PDFダウンロード IBISML2011-94

研究会情報
研究会 IBISML  
開催期間 2012-03-12 - 2012-03-13 
開催地(和) 統計数理研究所 
開催地(英) The Institute of Statistical Mathematics 
テーマ(和) 統計数理、データベース、一般 
テーマ(英) Mathematical Statistics, Databases, etc. 
講演論文情報の詳細
申込み研究会 IBISML 
会議コード 2012-03-IBISML 
本文の言語 英語(日本語タイトルあり) 
タイトル(和) 部分観測環境のモデルパラメータに対する徒弟学習 
サブタイトル(和)  
タイトル(英) Apprenticeship Learning for Model Parameters of Partially Observable Environments 
サブタイトル(英)  
キーワード(1)(和/英) 強化学習 / Reinforcement Learning  
キーワード(2)(和/英) 部分観測マルコフ決定過程 / POMDP  
キーワード(3)(和/英) 逆強化学習 / Inverse Reinforcement Learning  
キーワード(4)(和/英) ベイズ推定 / Bayesian Inference  
キーワード(5)(和/英) IO-HMM / Input-Output Hidden Markov Model  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 牧野 貴樹 / Takaki Makino / マキノ タカキ
第1著者 所属(和/英) 東京大学 (略称: 東大)
University of Tokyo (略称: Univ. of Tokyo)
第2著者 氏名(和/英/ヨミ) 竹内 誉羽 / Johane Takeuchi / タケウチ ヨハネ
第2著者 所属(和/英) 株式会社ホンダ・リサーチ・インスティチュート・ジャパン (略称: ホンダ・リサーチ・インスティチュート・ジャパン)
Honda Research Institute Japan Co.,Ltd. (略称: HRI-JP)
第3著者 氏名(和/英/ヨミ) / /
第3著者 所属(和/英) (略称: )
(略称: )
第4著者 氏名(和/英/ヨミ) / /
第4著者 所属(和/英) (略称: )
(略称: )
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者 第1著者 
発表日時 2012-03-12 15:30:00 
発表時間 25分 
申込先研究会 IBISML 
資料番号 IBISML2011-94 
巻番号(vol) vol.111 
号番号(no) no.480 
ページ範囲 pp.49-54 
ページ数
発行日 2012-03-05 (IBISML) 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会