| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2018-03-08 14:20 CNN計算の省メモリ化のためのカーネル・クラスタリング手法の検討 ○松井優樹・三輪 忍（電通大）・進藤智司・津邑公暁（名工大）・八巻隼人・本多弘樹（電通大）  CPSY2017-140 DC2017-96 |
|
| 抄録 | （和） | 近年，機械学習の中でも畳み込みニューラル・ネットワーク(CNN) が高い認識精度を示すことから，大きな注目を集めている．CNN は深層ニューラル・ネットワークであり，規模が大きくパラメータ数も多いことが問題としてあげられる．そのため，個々のパラメータに着目したデータ圧縮手法など，ネットワーク規模を縮小する研究が行われている．しかしながら，CNN 特有の重み(カーネル) 構造の類似性に着目したデータ圧縮手法は報告されていない．そこで我々は，CNN 計算におけるカーネルの構造的意味を持つ最小の単位である2 次元カーネルの類似性に着目し，クラスタリングと近似を行うことによりCNN 計算の省メモリ化を行う手法を提案している．我々の過去の報告では，少ないカーネル数のCNN に対して少ないクラスタ数でクラスタリングを行った際の提案手法の有効性を示したが，本報告では，より大規模なCNN に対して様々なクラスタ数でクラスタリングを行った際の結果を示す．VGG-16 の全カーネルに対して本手法を適用した結果，最大で85.6%のカーネルデータを削減しても認識精度を80%以上に保つことができた．本提案手法はPruning や量子化と直交した技術であり，これらを併用することでさらなるデータ圧縮が可能である． |
| （英） | Convolutional Neural Network (CNN) is widely used in the field of image recognition due to the high recognition accuracy. CNN is a sort of deep and large-scale neural networks so that it has numbers of parameters to be used for the computation. There have been many studies of compressing the data of CNN such as reducing the numbers of parameters and bits of parameters. Meanwhile, a well-trained CNN has very regular structure (i.e., 2D kernels) available for data compression, but no study of exploiting this structure for data compression in CNN has been reported so far. We have proposed a technique that clusters 2D kernels trained and replaces them with representative 2D kernels for reducing the number of parameters in CNN. In this paper, we report the experimental results of clustering the overall 2D kernels within VGG-16 with various numbers of clusters. Our experimental results show that the proposed technique can reduce the number of kernels by 85.6% in exchange for a 9% reduction in the recognition accuracy. The proposed technique is orthogonal to the other approaches of compressing the data in CNN, such as pruning and quantization; hence, they can be used together to obtain further gains. | |
| キーワード | （和） | CNN / データ圧縮 / クラスタリング / / / / / |
| （英） | CNN / data compression / clustering / / / / / | |
| 文献情報 | 信学技報, vol. 117, no. 479, CPSY2017-140, pp. 185-190, 2018年3月. | |
| 資料番号 | CPSY2017-140 | |
| 発行日 | 2018-02-28 (CPSY, DC) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | CPSY2017-140 DC2017-96 |
|
| 研究会情報 | |
| 研究会 | CPSY DC IPSJ-SLDM IPSJ-EMB IPSJ-ARC |
| 開催期間 | 2018-03-07 - 2018-03-08 |
| 開催地（和） | 隠岐の島文化会館 |
| 開催地（英） | Okinoshima Bunka-Kaikan Bldg. |
| テーマ（和） | 組込み技術とネットワークに関するワークショップ ETNET2018 |
| テーマ（英） | ETNET2018 |
| 講演論文情報の詳細 | |
| 申込み研究会 | CPSY |
| 会議コード | 2018-03-CPSY-DC-SLDM-EMB-ARC |
| 本文の言語 | 日本語 |
| タイトル（和） | CNN計算の省メモリ化のためのカーネル・クラスタリング手法の検討 |
| サブタイトル（和） | |
| タイトル（英） | A Study of Kernel Clustering for Reducing Memory Footprint of CNN |
| サブタイトル（英） | |
| キーワード(1)（和/英） | CNN / CNN |
| キーワード(2)（和/英） | データ圧縮 / data compression |
| キーワード(3)（和/英） | クラスタリング / clustering |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 松井 優樹 / Yuki Matsui / マツイ ユウキ |
| 第1著者 所属（和/英） | 電気通信大学 (略称： 電通大) The University of Electro-Communications (略称： UEC) |
| 第2著者 氏名（和/英/ヨミ） | 三輪 忍 / Shinobu Miwa / ミワ シノブ |
| 第2著者 所属（和/英） | 電気通信大学 (略称： 電通大) The University of Electro-Communications (略称： UEC) |
| 第3著者 氏名（和/英/ヨミ） | 進藤 智司 / Satoshi Shindo / サトシ シンドウ |
| 第3著者 所属（和/英） | 名古屋工業大学 (略称： 名工大) Nagoya Institute of Technology (略称： NITech) |
| 第4著者 氏名（和/英/ヨミ） | 津邑 公暁 / Tomoaki Tsumura / ツムラ トモアキ |
| 第4著者 所属（和/英） | 名古屋工業大学 (略称： 名工大) Nagoya Institute of Technology (略称： NITech) |
| 第5著者 氏名（和/英/ヨミ） | 八巻 隼人 / Hayato Yamaki / ヤマキ ハヤト |
| 第5著者 所属（和/英） | 電気通信大学 (略称： 電通大) The University of Electro-Communications (略称： UEC) |
| 第6著者 氏名（和/英/ヨミ） | 本多 弘樹 / Hiroki Honda / ホンダ ヒロキ |
| 第6著者 所属（和/英） | 電気通信大学 (略称： 電通大) The University of Electro-Communications (略称： UEC) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2018-03-08 14:20:00 |
| 発表時間 | 25分 |
| 申込先研究会 | CPSY |
| 資料番号 | CPSY2017-140, DC2017-96 |
| 巻番号（vol） | vol.117 |
| 号番号（no） | no.479(CPSY), no.480(DC) |
| ページ範囲 | pp.185-190 |
| ページ数 | 6 |
| 発行日 | 2018-02-28 (CPSY, DC) |
[研究会発表申込システムのトップページに戻る]