講演抄録/キーワード |
講演名 |
2021-06-08 16:35
対称的二進表現に基づくビットスケーラブルCNN推論手法 ○鈴木淳之介・安藤洸太・廣瀬一俊・川村一志・Thiem Van Chu・本村真人・劉 載勲(東工大) RECONF2021-7 |
抄録 |
(和) |
組み込みシステム向けのニューラルネットワークは,学習段階で消費電力や計算資源の制約を考慮すること で設計要求を満たすことができるが,固定的な計算量を要する単一ネットワークでは計算リソースや運用環境の変動に 対して柔軟に対応することができない.本発表では,BWB (bit-wise binay) 量子化,ABS (accumulative bit-serial) 推論, BN (batch normalization) 再学習から構成され,単一ネットワークのみでスケーラブルな推論を実現する ProgressiveNN を提案する.ProgressiveNN は,ネットワークの変更を必要とせず,そのネットワークパラメータは一度の学習で得 ることができる.BWB 量子化は,各パラメータを分解し,ABS 推論のためにビット単位のフォーマットに変換する. ABS 推論では,パラメータを MSB から順に使用することで,段階的な推論を可能とする.評価の結果,提案手法は, CIFAR-10/100-ResNet18 において,単一のネットワークパラメータセットを用いて,12.5% から 100% の計算量のス ケーラビリティを実現した.また,BN の再学習により,低い計算コストで精度の低下を抑制し,1 ビット幅の推論で 65% の推論精度を回復できることがわかった. |
(英) |
|
キーワード |
(和) |
深層ニューラルネットワーク / ビット単位量子化 / 段階的推論 / バッチノーマライゼーション再学習 / / / / |
(英) |
/ / / / / / / |
文献情報 |
信学技報, vol. 121, no. 59, RECONF2021-7, pp. 32-37, 2021年6月. |
資料番号 |
RECONF2021-7 |
発行日 |
2021-06-01 (RECONF) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
査読に ついて |
本技術報告は査読を経ていない技術報告であり,推敲を加えられていずれかの場に発表されることがあります. |
PDFダウンロード |
RECONF2021-7 |