講演抄録/キーワード |
講演名 |
2015-06-23 16:10
比較バンディット問題における最適なアルゴリズム ~ ランキング手法比較や選好情報学習を目的として ~ ○小宮山純平・本多淳也(東大)・鹿島久嗣(京大)・中川裕志(東大) IBISML2015-14 |
抄録 |
(和) |
バンディット問題(multi-armed bandit problem)は、情報の活用と探索の間のトレードオフをモデル化した問題である。バンディット問題にはいくつかの亜種があるが、そのうち比較バンディット問題(dueling bandit problem)と呼ばれるものは、一対比較によるフィードバックを用いて最適化を行う。比較バンディット問題の枠組みを用いることによって、検索エンジンのランキング手法の比較や、人間の選好抽出の問題に対して、効率的な最適化を行うことができる。本研究では、比較バンディット問題における理論的な性能限界およびそれを達成するアルゴリズムを提案する。このアルゴリズムは、経験尤度を用いた通常のバンディット問題におけるアルゴリズム(本多,竹村,2010)の比較バンディット問題への拡張である。提案手法を評価するため、検索エンジンの実データにおけるランキング手法の比較や、寿司データセット(神嶌,2003)などによる人間の選好抽出における性能を既存手法と比較する。 |
(英) |
We study the K-armed dueling bandit problem, a variation of the standard stochastic bandit problem where the feedback is limited to relative comparisons of a pair of arms. Algorithms that are inspired by the Deterministic Minimum Empirical Divergence algorithm (Honda and Takemura, 2010) are proposed. The effectiveness of the proposed algorithms are assessed both theoretically and empirically. |
キーワード |
(和) |
バンディット問題 / 比較バンディット問題 / オンライン学習 / 選好学習 / / / / |
(英) |
multi-armed bandit problem / dueling bandit problem / online learning / preference elicitation / / / / |
文献情報 |
信学技報, vol. 115, no. 112, IBISML2015-14, pp. 87-94, 2015年6月. |
資料番号 |
IBISML2015-14 |
発行日 |
2015-06-16 (IBISML) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
IBISML2015-14 |