講演抄録/キーワード |
講演名 |
2016-11-17 14:00
全状態探索による線形回帰のスパース変数選択 ○五十嵐康彦・竹中 光・中西 (大野)義典(東大)・植村 誠(広島大)・池田思朗(統計数理研)・岡田真人(東大) IBISML2016-90 |
抄録 |
(和) |
本研究では線形回帰におけるスパース変数選択を行うため,
最適な説明変数の組合せが$K$-スパースであると仮定し,
その説明変数の組合せについて網羅的に探索する
$K$-スパース全状態探索(ES-$K$)法を行う.
そして,ES-$K$法で得られた状態密度に対して,
スパース変数選択の近似手法で得られた解を
マッピングすることにより,
これまで行われてきたスパース変数選択の
緩和アプローチとサンプリングアプローチを
統合することが可能であり,すべての近似的手法を評価できる.
また,我々は説明変数の組合せ爆発に対しては,
交換モンテカルロ法とマルチヒストグラム法を用いて状態密度を効率的に再構成した.
さらに,提案手法を,Ia型超新星の極大等級データに適用した結果,
先行研究で得られた説明変数の組み合わせより,
性能の高い組み合わせが存在することが分かった.
これは先行研究で用いられた
スパース変数選択の緩和アプローチが不完全であることを意味する. |
(英) |
We proposed the $K$-sparse
Exhaustive-Search (ES-$K$) method,
in which, assuming the optimum combination of
explanatory variables is $K$-sparse,
we exhaustively search the $K$-sparse combinations for sparse variable selection in linear regression.
We then obtain the density of states and can map to it solutions obtained by various approximate methods of sparse variable selection.
This method enables us to integrate the previous sparse variable selection methods
such as relaxation approach and sampling approach,
and evaluate all the approximate methods.
In addition, for the problem of combinatorial explosion of the explanatory variables,
we effectively reconstructed the density of states
by using the exchange Monte Carlo method and multi-histogram method.
Finally, we applied the ES-$K$ method to the type Ia supernova data.
As a result, there is a combination of explanatory variables
with higher performance than that of previous approximate sparse variable selection methods.
This result means that relaxation approach for sparse variable selection used in previous studies
is incomplete. |
キーワード |
(和) |
$K$-スパース全状態探索法, / BIC / CVE / LASSO / 交換モンテカルロ法 / / / |
(英) |
$K$-sparse Exhaustive-Search (ES-$K$) method / BIC / CVE / LASSO / exchange Monte Carlo method / / / |
文献情報 |
信学技報, vol. 116, no. 300, IBISML2016-90, pp. 313-320, 2016年11月. |
資料番号 |
IBISML2016-90 |
発行日 |
2016-11-09 (IBISML) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
IBISML2016-90 |