| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-11-12 14:05 ニューラルネットワークの低ビット量子化手法の検討 ○和田絵美・木村晋二（早大）  VLD2024-28 ICD2024-46 DC2024-50 RECONF2024-58 |
|
| 抄録 | （和） | ニューラルネットワークの軽量化はエッジ応用において重要な課題である. 中でもDNN(Deep Neural Network)モデルの学習後の量子化(Post Training Quantization, PTQ)は, 軽量化のための簡単かつ有効な手法である. 様々なPTQ手法が検討される中で, 対数量子化は4ビット以下の超低精度において高い性能を示している. そこで本稿では, 更なる性能向上のため, 重みと活性値の各々に異なる対数ベースの量子化器を組み合わせる手法を提案する. 重みの量子化では, 分布柔軟性の高いサブセット量子化(Subset Quantization, SQ)を活用する. SQは, ユニバーサルセットと呼ばれる2単語の加法で構成された対数値のセットから, データ分布に適した量子化点を探索する量子化器である. すべての可能な組み合わせを網羅的に探索するため, 高精度な量子化点を得ることができる. 一方で活性値の量子化では, 計算効率の高い選択的2単語対数量子化(Selective Two-word Log-scale Quantization, STLQ)を適用する. 2単語率を設定し, 量子化誤差の大きい値を優先的に2単語で対数量子化することで, 効率的に精度を向上させることができる. 重みと活性値に異なる量子化手法を用いることで, 精度の向上を達成している. 大規模画像分類ベンチマークを用いた評価により, 2～4ビットの超低精度において, 既存PTQ手法と比べて良い性能を達成した. |
| （英） | Lightweighting neural networks are critical challenges for edge applications. Among various methods, Post Training Quantization (PTQ) is a simple and effective approach for reducing the size of Deep Neural Network (DNN) models. While various PTQ techniques have been explored, logarithmic quantization methods show high performance at ultra-low precision of 4 bits or less. In this manuscipt, we propose a method to combine different logarithmic-based quantizers to weights and activations. For weight quantization, Subset Quantization (SQ) is used, which offers high flexibility in handling distribution. SQ is a quantizer that searches for optimal quantization points suitable for the data distribution from a set of logarithmic values composed of two-word addends, called the universal set. Since all possible combinations are thoroughly searched, it is possible to obtain highly accurate quantization points. For activation quantization, we apply Selective Two-word Log-scale Quantization (STLQ), which is a more computationally efficient method. By setting a two-word rate and prioritizing the logarithmic quantization of values with large quantization errors, STLQ efficiently improves accuracy. By combining different quantization techniques for weights and activations, we achieve enhanced precision. Evaluation on large-scale image classification benchmarks shows that our method achieves better performance than existing PTQ techniques at ultra-low precision levels of 2 to 4 bits. | |
| キーワード | （和） | CNN / DNN / 学習後の量子化 / サブセット量子化 / 選択的2単語対数量子化 / / / |
| （英） | CNN / DNN / Post Training Quantization / Subset Quantization / Selective Two-word Logarithmic Quantization / / / | |
| 文献情報 | 信学技報, vol. 124, no. 247, VLD2024-28, pp. 8-13, 2024年11月. | |
| 資料番号 | VLD2024-28 | |
| 発行日 | 2024-11-05 (VLD, ICD, DC, RECONF) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | VLD2024-28 ICD2024-46 DC2024-50 RECONF2024-58 |
|
| 研究会情報 | |
| 研究会 | VLD DC RECONF ICD IPSJ-SLDM |
| 開催期間 | 2024-11-12 - 2024-11-14 |
| 開催地（和） | コンパルホール(大分) |
| 開催地（英） | COMPAL HALL |
| テーマ（和） | デザインガイア2024 -VLSI設計の新しい大地- |
| テーマ（英） | Design Gaia 2024 -New Field of VLSI Design- |
| 講演論文情報の詳細 | |
| 申込み研究会 | VLD |
| 会議コード | 2024-11-VLD-DC-RECONF-ICD-SLDM |
| 本文の言語 | 日本語 |
| タイトル（和） | ニューラルネットワークの低ビット量子化手法の検討 |
| サブタイトル（和） | |
| タイトル（英） | Low-bit Quantization Methods for Neural Networks |
| サブタイトル（英） | |
| キーワード(1)（和/英） | CNN / CNN |
| キーワード(2)（和/英） | DNN / DNN |
| キーワード(3)（和/英） | 学習後の量子化 / Post Training Quantization |
| キーワード(4)（和/英） | サブセット量子化 / Subset Quantization |
| キーワード(5)（和/英） | 選択的2単語対数量子化 / Selective Two-word Logarithmic Quantization |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 和田 絵美 / Emi Wada / ワダ エミ |
| 第1著者 所属（和/英） | 早稲田大学 (略称： 早大) Waseda University (略称： Waseda Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 木村 晋二 / Shinji Kimuda / キムラ シンジ |
| 第2著者 所属（和/英） | 早稲田大学 (略称： 早大) Waseda University (略称： Waseda Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-11-12 14:05:00 |
| 発表時間 | 25分 |
| 申込先研究会 | VLD |
| 資料番号 | VLD2024-28, ICD2024-46, DC2024-50, RECONF2024-58 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.247(VLD), no.248(ICD), no.249(DC), no.250(RECONF) |
| ページ範囲 | pp.8-13 |
| ページ数 | 6 |
| 発行日 | 2024-11-05 (VLD, ICD, DC, RECONF) |
[研究会発表申込システムのトップページに戻る]