講演抄録/キーワード |
講演名 |
2023-11-15 15:30
多重量子化オプティマイザを用いたエッジAIオンライン学習アーキテクチャの提案 ○明野樹紀・山崎比伊呂・浅井哲也・安藤洸太(北大) VLD2023-41 ICD2023-49 DC2023-48 RECONF2023-44 |
抄録 |
(和) |
本研究ではニューラルネットワークによる学習のできるハードウェアのアーキテクチャを検討評価し、そのFPGA 実装を行った。現在ニューラルネットワークを用いた AI は広く使われており、AI の学習計算をするための専用ハードウェアの開発が急がれている。そこでハードウェア指向のオプティマイザとして Holmes があり、これを用いると他のオプティマイザに比べて小さいメモリの割に早い収束をする学習ができることがわかっている。よって本論文では Holmes を搭載し、また並列化とパイプライン化によって大きなスループットが出せるハードウェアのアーキテクチャを提案した。また、そのアーキテクチャをもとにプロトタイプとして XOR、NOR の学習を行うハードウェアを FPGA に実装し、資源の評価を行った。 |
(英) |
We propose a processor architecture for neural network (NN) training in edge and prototype it on an FPGA (Field--Programmable Gate Array). Currently, neural networks are widely employed in artificial intelligence (AI), and there is a pressing need for the development of dedicated hardware for edge side AI training. To address this demand, the Holmes optimizer has been proposed and proved to have capability of faster convergence with a smaller memory footprint compared to
other optimizers. Therefore, this paper presents a hardware architecture that incorporates Holmes and leverages parallelization and pipelining techniques to achieve significan't throughput improvements. Furthermore, based on this architecture, we evaluated the hardware resource consumption of the proposed architecture by implementing it on an FPGA. This research focuses
on proposing a hardware architecture suitable for neural network learning and its FPGA implementation. It contributes to the
advancement of hardware for neural network-based AI learning, which is of paramount importance given the widespread usage
of neural networks in AI applications. |
キーワード |
(和) |
ニューラルネットワーク / エッジコンピューティング / アーキテクチャ / FPGA / オプティマイザ / / / |
(英) |
Neural Network / Edge Computing / Architecture / FPGA / Optimizer / / / |
文献情報 |
信学技報, vol. 123, no. 259, ICD2023-49, pp. 64-69, 2023年11月. |
資料番号 |
ICD2023-49 |
発行日 |
2023-11-08 (VLD, ICD, DC, RECONF) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
VLD2023-41 ICD2023-49 DC2023-48 RECONF2023-44 |
|