講演抄録/キーワード |
講演名 |
2019-03-05 09:55
活性値を考慮したニューラルネットワークのニューロン削除手法 ○山田雅大・萩原将文(慶大) NC2018-64 |
抄録 |
(和) |
本論文では,活性値を考慮したニューラルネットワークのニューロン削除手法を提案する.本手法で
は,ニューロンを削除(Pruning)することによって,パラメータ数を削減する.Pruning の指標として,ニューロン毎
の,①学習データ全体に対する平均活性値,②学習データ中の各クラスに対する平均活性値のエントロピー,の2
種類を用いた.これらの指標を基準に,(A)指標値の小さい順にPruning,(B)指標値の大きい順にPruning,(C)指標
値の中央値から区間両端に向かってPruning,(D)指標値の区間両端から中央値に向かってPruning,の4 種類のルー
ルを定め,ニューロンのPruning を行った.評価実験を行った結果,既存の手法に比べ高精度を維持したままパラ
メータ数の削減が可能であることを示した. |
(英) |
In this paper, we propose a neuron-pruning algorithm using activation value. As the index for pruning neurons,
two types of the index are used: (1) the average activation value for the whole learning data, and (2) the entropy of average
activation values for each class in the learning data. Based on the index, neurons are pruned under the following four kinds of
rules: (A) pruning neurons in descending order of index values, (B) pruning neurons in ascending order of index values, (C)
pruning neurons from the median value of index values toward both ends of the section, and (D) pruning neurons from both
ends of the section of index values towards the median value. In the evaluation experiments, it is shown that the parameters can
be reduced while maintaining high accuracy by pruning neurons based on each index and rule of the proposed method more
effectively. |
キーワード |
(和) |
プルーニング / パラメータ削減 / 圧縮 / ニューラルネットワーク / / / / |
(英) |
pruning / parameter reduction / compression / neural network / / / / |
文献情報 |
信学技報, vol. 118, no. 470, NC2018-64, pp. 111-116, 2019年3月. |
資料番号 |
NC2018-64 |
発行日 |
2019-02-25 (NC) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NC2018-64 |