| 講演抄録/キーワード |
| 講演名 |
2024-12-21 11:10
自動特徴量エンジニアリングに対する選択的推論 ○松川竜也・白石智洸(名大)・西納修一(名大/理研)・勝岡輝行(名大)・竹内一郎(名大/理研) IBISML2024-46 |
| 抄録 |
(和) |
自動特徴量エンジニアリング(AFE)は,生データからモデルのパフォーマンスを向上させる意味のある特徴量を自動的に生成するプロセスである.
データ駆動型のアプローチにより,AFEは人間の経験や直感では捉えきれない重要な特徴量の発見を可能にする.
しかし,AFEにより生成される特徴量は,データに過度に適合する可能性があるため,その信頼性を適切に評価することが重要な課題である.
特に,多くのAFEは組み合わせ探索問題として定式化され,ヒューリスティックアルゴリズムにより解かれるため,生成された特徴量の信頼性を理論的に定量化することは困難である.
本研究では,この課題に対して選択的推論(Selective Inference; SI)と呼ばれる枠組みに基づく,新たな統計的仮説検定手法を提案する.
具体的には,木探索に基づくヒューリスティックなAFEアルゴリズムを対象とし,生成された特徴量を線形モデルで使用する場合の検定問題を検討する.
提案手法により,生成された特徴量の統計的有意性を$p$値として定量化できる.
さらに,計算機実験を通じて本手法の仮説検定手法としての妥当性を示す. |
| (英) |
Auto Feature Engineering (AFE) is the process of automatically generating meaningful features from raw data to improve the performance of a model.
Through its data-driven approach, AFE enables the discovery of important features that cannot be captured by human experience or intuition.
However, features generated by AFE may overfit the data, so properly assessing their reliability is an important issue.
In particular, many AFEs are formulated as combinatorial search problems and solved by heuristic algorithms, making it difficult to theoretically quantify the reliability of the generated features.
In this paper, we propose a new statistical hypothesis testing method based on a framework called Selective Inference (SI) to address this issue.
Specifically, we focus on a heuristic AFE algorithms based on tree search and consider the testing problem when using the generated features in a linear model.
The proposed method allows the statistical significance of the generated features to be quantified as a $p$-value.
Furthermore, we demonstrate the validity of the proposed method as a hypothesis testing method through computational experiments. |
| キーワード |
(和) |
自動特徴量エンジニアリング / ヒューリスティック / 選択的推論 / 統計的仮説検定 / / / / |
| (英) |
Auto Feature Engineering / Heuristic / Selective Inference / Statistical Hypothesis Testing / / / / |
| 文献情報 |
信学技報, vol. 124, no. 321, IBISML2024-46, pp. 100-107, 2024年12月. |
| 資料番号 |
IBISML2024-46 |
| 発行日 |
2024-12-13 (IBISML) |
| ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
| PDFダウンロード |
IBISML2024-46 |