| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2018-08-01 15:15 CNNにおける数値表現の遺伝的アルゴリズムを用いた最適化 ○野上和加奈（東大/産総研）・池上 努・大内真一・高野了成（産総研）・岸 裕真・工藤知宏（東大/産総研）  CPSY2018-26 |
|
| 抄録 | （和） | 畳み込みニューラルネットワーク(CNN)による画像認識の精度は年々向上しており，それに伴ってモデルはより複雑で大きなものになってきている．モデルサイズを削減するための工夫の一つとして数値表現のbit幅を削減する手法がある．これまで浮動小数点型・固定小数点型などを用いてbit幅を削減する取り組みが多く行われている．その目的は、（１）少ないbit幅による（２）容易な演算によって、（３）高い正解率を得ることである。演算の容易性を考えると浮動小数点型や固定小数点型を用いることは適切である．そこで我々は可変ビンサイズ量子化と呼ぶ手法を導入し，ビンサイズを遺伝的アルゴリズムを用いて最適化することでbit幅提言・正解率向上の観点から最適な数値表現を求める実験を行った．今回は推論時の学習済みパラメータの量子化を対象にした．結果として実験に用いたモデルに対して，固定小数点表現や浮動小数点表現を上回る正解率を出すことができる数値表現を求めることに成功した．その数値表現は比較的固定小数点型に近いものであった．また，この数値表現を用いることで正解率を低下させずに3bitまでbit幅を削減できることがわかった． |
| （英） | The accuracy of image recognition by the convolutional neural network (CNN) has been improving year by year, and the models are becoming more complicated and larger. One way to reduce the model size is to use a low bit-width numerical expression. There are many types of research to reduce the bit-width by using floating-point, fixed-point, ternary, and binary arithmetics, and so on. They are aiming at (1) simplifying the computation (2) by introducing a less-bit arithmetic (3) to keep the image recognition accuracy. Considering ease of computation, it is appropriate to use floating-point and fixed-point. Therefore, we introduced a variable bin size quantization and found the appropriate numerical expression from the viewpoint of low bit-width and high accuracy by optimizing the bin size using a genetic algorithm. In this study, we targeted on quantization of trained parameters at inference. As a result, we succeeded in finding a numerical expression that can give higher Top-1 Accuracy than when using fixed-point or floating-point type for our CNN models. The numerical expression is relatively similar to fixed-point type. We also found that by using this numerical expression, it is possible to reduce the bit-width down to 3-bit without decreasing the accuracy. | |
| キーワード | （和） | 畳み込みニューラルネットワーク / 適応量子化 / 遺伝的アルゴリズム / 数値表現 / 最適化 / / / |
| （英） | CNN / Adaptive Quantization / Genetic Algorithm / Numerical Expression / Optimization / / / | |
| 文献情報 | 信学技報, vol. 118, no. 165, CPSY2018-26, pp. 193-198, 2018年7月. | |
| 資料番号 | CPSY2018-26 | |
| 発行日 | 2018-07-23 (CPSY) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | CPSY2018-26 |
|
| 研究会情報 | |
| 研究会 | CPSY DC IPSJ-ARC |
| 開催期間 | 2018-07-30 - 2018-08-01 |
| 開催地（和） | 熊本市国際交流会館 |
| 開催地（英） | Kumamoto City International Center |
| テーマ（和） | 並列／分散／協調システムとディペンダブルコンピューティングおよび一般 |
| テーマ（英） | Parallel, Distributed and Cooperative Processing Systems and Dependable Computing |
| 講演論文情報の詳細 | |
| 申込み研究会 | CPSY |
| 会議コード | 2018-07-CPSY-DC-ARC |
| 本文の言語 | 日本語 |
| タイトル（和） | CNNにおける数値表現の遺伝的アルゴリズムを用いた最適化 |
| サブタイトル（和） | |
| タイトル（英） | Optimization of Numerical Expression in CNN using Genetic Algorithm |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 畳み込みニューラルネットワーク / CNN |
| キーワード(2)（和/英） | 適応量子化 / Adaptive Quantization |
| キーワード(3)（和/英） | 遺伝的アルゴリズム / Genetic Algorithm |
| キーワード(4)（和/英） | 数値表現 / Numerical Expression |
| キーワード(5)（和/英） | 最適化 / Optimization |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 野上 和加奈 / Wakana Nogami / ノガミ ワカナ |
| 第1著者 所属（和/英） | 東京大学/産業技術総合研究所 (略称： 東大/産総研) The University of Tokyo/National Institute of Advanced Industrial And Technology (略称： Tokyo Univ./AIST) |
| 第2著者 氏名（和/英/ヨミ） | 池上 努 / Tsutomu Ikegami / イケガミ ツトム |
| 第2著者 所属（和/英） | 産業技術総合研究所 (略称： 産総研) National Institute of Advanced Industrial And Technology (略称： AIST) |
| 第3著者 氏名（和/英/ヨミ） | 大内 真一 / Shin-ichi O'uchi / オオウチ シンイチ |
| 第3著者 所属（和/英） | 産業技術総合研究所 (略称： 産総研) National Institute of Advanced Industrial And Technology (略称： AIST) |
| 第4著者 氏名（和/英/ヨミ） | 高野 了成 / Ryosei Takano / タカノ リョウセイ |
| 第4著者 所属（和/英） | 産業技術総合研究所 (略称： 産総研) National Institute of Advanced Industrial And Technology (略称： AIST) |
| 第5著者 氏名（和/英/ヨミ） | 岸 裕真 / Yuma Kishi / キシ ユウマ |
| 第5著者 所属（和/英） | 東京大学/産業技術総合研究所 (略称： 東大/産総研) The University of Tokyo/National Institute of Advanced Industrial And Technology (略称： Tokyo Univ./AIST) |
| 第6著者 氏名（和/英/ヨミ） | 工藤 知宏 / Tomohiro Kudoh / クドウ トモヒロ |
| 第6著者 所属（和/英） | 東京大学/産業技術総合研究所 (略称： 東大/産総研) The University of Tokyo/National Institute of Advanced Industrial And Technology (略称： Tokyo Univ./AIST) |
| 講演者 | 第1著者 |
| 発表日時 | 2018-08-01 15:15:00 |
| 発表時間 | 30分 |
| 申込先研究会 | CPSY |
| 資料番号 | CPSY2018-26 |
| 巻番号（vol） | vol.118 |
| 号番号（no） | no.165 |
| ページ範囲 | pp.193-198 |
| ページ数 | 6 |
| 発行日 | 2018-07-23 (CPSY) |
[研究会発表申込システムのトップページに戻る]