| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2022-12-15 14:25 活性化関数の出力誤差に基づくDNN圧縮法 ○菅間幸司・和田俊和（和歌山大）  PRMU2022-38 |
|
| 抄録 | （和） | Deep Neural Network(DNN)は機械学習の分野における主要技術の一つである.しかし，DNN を利用する ためには大量の計算をこなす必要があるため，計算リソースが限られた環境での利用が難しい.そこで，学習済みの DNN モデルの精度を保ちつつ圧縮を行うことができる技術が望まれている.プルーニングは，冗長なニューロン(チャ ネル)を削除することにより，DNN モデルを圧縮する方法である.本稿では Pruning with Output Error Minimization (POEM)という手法を提案する.POEM はプルーニングの後に，出力誤差を補償する「再構成」を行うことが特徴で ある.類似する既存手法では，活性化関数適用前の誤差を基準に再構成が行われるのに対し，POEM では活性化関数 適用後の誤差を基準に再構成が行われる.そのため，POEM は既存手法よりも DNN モデルの精度を高く維持するこ とができる.画像認識用の DNN モデル(VGG-16, ResNet-18, Mobilenet)を用いた実験において，提案手法の有効性 を実証することができた. |
| （英） | Deep Neural Networks (DNNs) are dominant in the field of machine learning. However, because DNN models have large computational complexity, implementation of DNN models on resource-limited equipment is challenging. Therefore, techniques for compressing DNN models without degrading their accuracy is desired. Pruning is one such technique that re- moves redundant neurons (or channels). In this paper, we present Pruning with Output Error Minimization (POEM), a method that performs not only pruning but also reconstruction to compensate the error caused by pruning. The strength of POEM lies in its reconstruction to minimize the output error of the activation function, whereas the previous methods minimize the error before the activation function. The experiments with well-known DNN models (VGG-16, ResNet-18, MobileNet) and image recognition datasets (ImageNet, CUB-200-2011) were conducted. The results show that POEM significantly outperformed the previous methods in maintaining the accuracy of the compressed models. | |
| キーワード | （和） | プルーニング / 再構成 / 活性化関数 / / / / / |
| （英） | pruning / reconstruction / activation function / / / / / | |
| 文献情報 | 信学技報, vol. 122, no. 314, PRMU2022-38, pp. 34-39, 2022年12月. | |
| 資料番号 | PRMU2022-38 | |
| 発行日 | 2022-12-08 (PRMU) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | PRMU2022-38 |
|
| 研究会情報 | |
| 研究会 | PRMU |
| 開催期間 | 2022-12-15 - 2022-12-16 |
| 開催地（和） | 富山国際会議場 |
| 開催地（英） | Toyama International Conference Center |
| テーマ（和） | 制御のためのCV |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | PRMU |
| 会議コード | 2022-12-PRMU |
| 本文の言語 | 日本語 |
| タイトル（和） | 活性化関数の出力誤差に基づくDNN圧縮法 |
| サブタイトル（和） | |
| タイトル（英） | A DNN compression method based on output error of activation functions |
| サブタイトル（英） | |
| キーワード(1)（和/英） | プルーニング / pruning |
| キーワード(2)（和/英） | 再構成 / reconstruction |
| キーワード(3)（和/英） | 活性化関数 / activation function |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 菅間 幸司 / Koji Kamma / カンマ コウジ |
| 第1著者 所属（和/英） | 和歌山大学 (略称： 和歌山大) Wakayama University (略称： Wakayama Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 和田 俊和 / Toshikazu Wada / ワダ トシカズ |
| 第2著者 所属（和/英） | 和歌山大学 (略称： 和歌山大) Wakayama University (略称： Wakayama Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2022-12-15 14:25:00 |
| 発表時間 | 15分 |
| 申込先研究会 | PRMU |
| 資料番号 | PRMU2022-38 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | no.314 |
| ページ範囲 | pp.34-39 |
| ページ数 | 6 |
| 発行日 | 2022-12-08 (PRMU) |
[研究会発表申込システムのトップページに戻る]