講演抄録/キーワード |
講演名 |
2022-01-23 12:10
連続値とカテゴリー値データが混在する深層学習における種々のスパース化とその有効性評価 ○石川眞澄(九工大) NC2021-45 |
抄録 |
(和) |
深層学習によって得られたモデルがブラックボックス的であり,人が理解できないという深刻な問題点の解消のために,スパースモデリングが有効であると考えている.米国国勢調査データを用いてさまざまな正則化項の有効性を評価するため,データ適合度及びスパース度からなるパレート最適性の概念を導入し定量的に評価した.スパースモデリングで標準的に用いられる結合重みに対するL1ノルムを基準にすると,結合重みに対する選択的L1ノルムの方が有効であり,これにさらにKL divergenceの最小化あるいは非対角共分散の最小化を付加する方がさらに優れ,また結合重みに対する選択的L1ノルムに隠れ層出力に対する選択的L1ノルムあるいはL2ノルムを付加する方がなお一層有効であることを実証した. |
(英) |
Deep learning has a serious drawback in that the resulting models tend to be a black box, hence hard to understand. A sparse modeling approach is expected to ameliorate the drawback. Various regularization terms are proposed so far. The paper proposes to use the concept of Pareto optimality composed of data fitting and the sparseness of models for judging the effectiveness of regularization terms using US census data. Compared to the most popular L1-norm to connection weights, the selective L1-norm to connection weights is better, off-diagonal covariance or KL divergence of hidden outputs are yet better, and the selective L1 norm or selective L2 norm to hidden outputs are the best. |
キーワード |
(和) |
深層学習 / ブラックボックス / 説明可能 / スパースモデリング / 正則化項 / / / |
(英) |
Deep learning / Black-box model / Explainable / Sparse modeling / Regularizers / / / |
文献情報 |
信学技報, vol. 121, no. 338, NC2021-45, pp. 65-70, 2022年1月. |
資料番号 |
NC2021-45 |
発行日 |
2022-01-14 (NC) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NC2021-45 |