| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2022-03-27 10:25 エッジAIのオンライン学習に向けたハードウェア指向対数量子化オプティマイザの提案 ○金子竜也・山岸善治・百瀬 啓・浅井哲也（北大）  CCS2021-39 |
|
| 抄録 | （和） | 近年，ニューラルネットワーク (NN)の学習もエッジで行うというコンセプトが注目を集めている． NNのパラメータ更新には多量のメモリアクセスを要し，このメモリアクセスはNNの消費電力の約50¥%を占めている． 特に電力制約の大きいエッジデバイスでは消費電力の削減は重要な課題となる． 本提案は情報量たるビット精度と学習回数を削減することで，メモリ容量の削減と低電力化を可能とする． 従来取り組まれていた量子化による情報量削減では，精度の低下に伴う学習回数の増加という問題点があった． 本提案では一部の乗算を量子化で置き換えることにより個々のパラメータに応じた勾配の調整を行う． これにより効率的なパラメータ探索を実現し高速な学習を実現している． ベンチマーク関数を用いた評価では安定した収束性と高速性を示し，MNISTデータセットにおいて従来手法に比べ2倍以上の学習の高速化を行なったことを示す． |
| （英） | In recently, the concept of training neural networks (NN) at the edge has attracted much attention. Updating parameters of NN requires a large amount of memory accesses, and these memory accesses account for about 50¥% of the power consumption of NN. In particular, power consumption reduction is an important issue for edge devices with large power constraints. In this paper, we propose a novel method to reduce a memory capacity and power consumption by reducing a bit precision and the number of training. The conventional approach of reducing the bit precision by quantization has the problem of increasing the number of training iterations due to the decrease in accuracy. In the proposed method, the gradient is adjusted according to each parameter by replacing some of the multiplications with quantization. This allows us to achieve efficient parameter search and fast learning. The above results show that online learning is possible even on edge devices with severe constraints. |
|
| キーワード | （和） | 機械学習 / 最適化手法 / エッジAI / オンライン学習 / / / / |
| （英） | Machine Learning / Optimizer / Edge AI / Online Learning / / / / | |
| 文献情報 | 信学技報, vol. 121, no. 442, CCS2021-39, pp. 19-24, 2022年3月. | |
| 資料番号 | CCS2021-39 | |
| 発行日 | 2022-03-20 (CCS) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | CCS2021-39 |
|
| 研究会情報 | |
| 研究会 | CCS |
| 開催期間 | 2022-03-27 - 2022-03-27 |
| 開催地（和） | 北海道 ルスツリゾートホテル&コンベンション |
| 開催地（英） | RUSUTSU RESORT HOTEL & CONVENTION |
| テーマ（和） | 一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | CCS |
| 会議コード | 2022-03-CCS |
| 本文の言語 | 日本語 |
| タイトル（和） | エッジAIのオンライン学習に向けたハードウェア指向対数量子化オプティマイザの提案 |
| サブタイトル（和） | |
| タイトル（英） | A novel hardware-oriented log-quantized optimizer for edge AI devices and their online learning |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 機械学習 / Machine Learning |
| キーワード(2)（和/英） | 最適化手法 / Optimizer |
| キーワード(3)（和/英） | エッジAI / Edge AI |
| キーワード(4)（和/英） | オンライン学習 / Online Learning |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 金子 竜也 / Tatsuya Kaneko / カネコ タツヤ |
| 第1著者 所属（和/英） | 北海道大学 (略称： 北大) Hokkaido University (略称： Hokkaido Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 山岸 善治 / Yoshiharu Yamagishi / ヤマギシ ヨシハル |
| 第2著者 所属（和/英） | 北海道大学 (略称： 北大) Hokkaido University (略称： Hokkaido Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 百瀬 啓 / Hiroshi Momose / モモセ ヒロシ |
| 第3著者 所属（和/英） | 北海道大学 (略称： 北大) Hokkaido University (略称： Hokkaido Univ.) |
| 第4著者 氏名（和/英/ヨミ） | 浅井 哲也 / Tetsuya Asai / アサイ テツヤ |
| 第4著者 所属（和/英） | 北海道大学 (略称： 北大) Hokkaido University (略称： Hokkaido Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2022-03-27 10:25:00 |
| 発表時間 | 25分 |
| 申込先研究会 | CCS |
| 資料番号 | CCS2021-39 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | no.442 |
| ページ範囲 | pp.19-24 |
| ページ数 | 6 |
| 発行日 | 2022-03-20 (CCS) |
[研究会発表申込システムのトップページに戻る]