講演抄録/キーワード |
講演名 |
2014-11-18 15:00
[ポスター講演]情報量規準WAICを用いたLASSOハイパーパラメータの最適化法 ○宮崎 大・渡辺澄夫(東工大) IBISML2014-63 |
抄録 |
(和) |
LASSO(Least Absolute Shrinkage and Selection Operator) 回帰は回帰問題の罰則項としてパラメータの要素の絶対値の総和を用いる方法であり,推定されるパラメータがスパースである場合に有効であると考えられている.LASSO回帰は様々な統計的推測の問題への応用が試みられているが,罰則項の大きさの決定方法については未だに十分には確立されていない.本論文ではLASSO回帰の罰則項の決定問題をベイズ法の事前分布の最適化問題であると考え,事後分布が正規分布で近似できてもできなくても予測損失の漸近的な不偏推定を与える情報量規準 WAIC を用いて最適化する方法を提案し,その有効性を実験的に検討し,次の4点を明らかにする.(1) LASSO 回帰の平均予測損失をWAIC で推定することができる.(2) 真のパラメータがスパースであるとき,LASSO回帰は有効であり,平均予測損失を最小にするハイパーパラメータを WAIC の最小化により推測することができる.(3) 真のパラメータがスパースでないときLASSO回帰は有効ではなく,有効でないことをWAICの値を観測することで知ることができる.(4)LASSO回帰においては周辺尤度を最大にするハイパーパラメータはWAICを最小にするハイパーパラメータと同じではなく,また周辺尤度の最大化は平均予測損失の最小化と等価ではない. |
(英) |
LASSO (Least Absolute Shrinkage and Selection Operator) was proposed as a regression method using a penalty term made of the sum of absolute values of parameters, which is expected to be effective when the true parameter is sparse. However, it is not yet established how to optimize its hyperparameter. In this paper, we study LASSO from the Bayesian point of view, and propose an optimization method of the hyperparameter using the information criterion WAIC which is an asymptotic unbiased estimator of the generalization error. Experimentally, we show four points. (1) By using WAIC, the average generalization error of LASSO can be estimated. (2) If the true parameter is sparse, then LASSO is effective and the optimal hyperparameter can be found by WAIC. (3) If the true parameter is not sparse, then LASSO is not effective which can be observed by using WAIC. (4) In, LASSO, the hyperparameter which minimizes the marginal likelihood is different from the hyperparameter which minimizes WAIC and the average generalization error. |
キーワード |
(和) |
LASSO回帰 / ハイパーパラメータ / WAIC / / / / / |
(英) |
LASSO regression / Hyperparameter / WAIC / / / / / |
文献情報 |
信学技報, vol. 114, no. 306, IBISML2014-63, pp. 213-218, 2014年11月. |
資料番号 |
IBISML2014-63 |
発行日 |
2014-11-10 (IBISML) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
IBISML2014-63 |