| 講演抄録/キーワード |
| 講演名 |
2018-03-14 11:15
L0ノルム最適化に基づくスパース判別アルゴリズムを用いた特徴量選択精度の評価 ○石橋直樹・伊藤紀基・佐藤 匡(電通大)・樺島祥介(東工大)・宮脇陽一(電通大/JSTさきがけ) NC2017-91 |
| 抄録 |
(和) |
小サンプルサイズかつ高次元データを学習データとする判別モデルでは,オーバーフィッティングによる汎化誤差の増加の問題が生じやすい.この問題を解決するには,重要な特徴量を選択することによる次元の削減が有効となる.我々は,選択する特徴量の数を最適化するL0ノルム最適化に基づくスパース判別アルゴリズムであるiterative hard thresholding for classification(IHTc)を提案し,実データへの適用を目指して評価を進めてきた.本研究では,これまで評価が不十分であった,データのスパース性を変化させた際のIHTcの性能について検証を行った.まず人工データに対するIHTcの判別成績と特徴量選択精度を,従来研究で提案された特徴量選択を行う判別器であるsparse logistic regression(SLR)と特徴量選択を行わない判別器であるsupport vector machine(SVM)と比較評価した.さらに機能的磁気共鳴画像法で計測された実脳活動データに対しても,それらの性能を同様に比較評価した.その結果,スパース性が高いデータ条件では,IHTcの判別成績はSVMを上回るもSLRとは同程度かやや劣るが,特徴量選択精度においてはIHTcが上回る場合があることが示された.これらの結果は,高次元データ中にスパースに表現された特徴量を正確に同定することが重要となる場面において,IHTcが有用な判別モデルとなる可能性を示唆している. |
| (英) |
Classification often suffers from overfitting if applied to a dataset of small sample size and high dimensionality. Dimensionality reduction, or feature selection, is one of effective methods to resolve this problem. We have developed iterative hard thresholding for classification (IHTc), a sparse classification algorithm that performs feature selection based on L0-norm optimization, and evaluated its characteristics to promote its applicability to real data analyses. In this study, we systematically assessed performance of IHTc in terms of accuracy of classification and feature selection while varying sparsity of artificial datasets. We further evaluated applicability of IHTc to the real data of human brain activity measured by functional magnetic resonance imaging. Performance of IHTc was compared with sparse logistic regression (SLR) as a typical example of a sparse classifier and with support vector machine (SVM) as a typical example of a non-sparse classifier. As a result, especially for datasets with high sparsity, classification accuracy of IHTc tended better than SVM but was equivalent or worse than SLR whereas feature selection accuracy of IHTc exceed that of SLR in some cases. These results suggest that IHTc might be a useful classification algorithm in the case requiring accurate feature selection out of high-dimensional data. |
| キーワード |
(和) |
特徴量選択 / スパースモデリング / L0ノルム最適化 / iterative hard thresholding / / / / |
| (英) |
feature selection / sparse modeling / L0-norm optimization / iterative hard thresholding / / / / |
| 文献情報 |
信学技報, vol. 117, no. 508, NC2017-91, pp. 139-144, 2018年3月. |
| 資料番号 |
NC2017-91 |
| 発行日 |
2018-03-06 (NC) |
| ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
| PDFダウンロード |
NC2017-91 |