講演抄録/キーワード |
講演名 |
2017-10-13 10:15
[ショートペーパー]バイナリニューラルネットにおける非活性化手法の検討 ○大屋 優・井田安俊・藤原靖宏・岩村相哲(NTT) PRMU2017-83 |
抄録 |
(和) |
ディープニューラルネットワーク(DNN)は画像や音声認識をはじめ様々な分野で用いられるモデルである.一般に,DNNは多層構造をとるため重みと呼ばれるパラメータを多く有する.そのため,近年ではパラメータのメモリ使用量を確実に減らす量子化が注目されている.DNNを量子化する既存手法として,ステップ関数を用いて強制的にパラメータの値を1ビットで表現できるよう二値に離散化する手法が提案されている.しかし,計算手続きに制約があるためモデルの表現力が下がり,精度が劣化する問題がある.そこで,本稿では,既存のモデルより計算の自由度が高い手法を提案する.まず,精度が大きく劣化する原因であるステップ関数による活性化関数を使用せず,代わりに各層の荷重和の値を要素ごとに総乗(アダマール積)したものを利用する.従来のバイナリニューラルネットワーク(BNN)はBatch Normalization層による正規化と線形写像で精度を担保しており,パラメータや出力値を二値化する結合層は推論精度にほとんど貢献していなかった.一方で提案手法はBatch Normalizationの有無に関わらず従来のBNNより高精度となることを確認した. |
(英) |
(Not available yet) |
キーワード |
(和) |
ディープニューラルネットワーク / 二値化 / アダマール積 / 正規化 / / / / |
(英) |
/ / / / / / / |
文献情報 |
信学技報, vol. 117, no. 238, PRMU2017-83, pp. 119-120, 2017年10月. |
資料番号 |
PRMU2017-83 |
発行日 |
2017-10-05 (PRMU) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
PRMU2017-83 |