| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2021-12-01 09:20 gMLPを用いた画像認識向けDNNアクセラレータのFPGA実装 ○神宮司明良・中原啓貴（東工大）  VLD2021-21 ICD2021-31 DC2021-27 RECONF2021-29 エレソ技報アーカイブへのリンク：ICD2021-31 |
|
| 抄録 | （和） | Convolutionを用いない画像認識の深層学習モデルであるVision Transformerが登場してから、CNNの代替としてMLPベースのモデルに大きな注目が集まっている。MLPベースのモデルは、Convolutionを持たないにもかかわらず、画像認識において高い認識精度を達成する。MLP-MixerやgMLPなどのMLPベースモデルの研究では、よりシンプルな構造で高い認識精度を達成する。低レイテンシな推論は、処理単位あたりの計算データが小さいためGPUでは計算効率が低下し、FPGAなどの専用回路による設計が向いていると考えられる。本稿では、我々はMLPベースモデルのための推論アクセラレータのFPGA回路を提案する。MLPベースのモデルではMLPレイヤーにおける単純な行列積が計算の大部分を占めるため、提案回路において我々は行列積を高い並列度で効率的に計算することに注力する。我々はビット幅の広いGEMMと専用命令セットを設計し、2つの大きな行列の積を1サイクルで計算する回路を設計した。本稿では、提案回路をXilinx社 ZCU102 FPGAボード上に実装し、gMLP-Sモデルの推論を実行した。ImageNetデータセットを用いたクラス分類の実験結果によると、我々の実装は74.5%の認識精度であり、159.0FPSと6.3msの推論速度であり、24.9Wの消費電力だった。モバイルGPUと比較して、提案する実装は4.4倍高速であり、6.1倍良い電力効率であった。CNNモデルを実装した既存FPGA実装と比較して、我々の実装は同等の推論速度でありながら、3%以上高い認識精度であった。 |
| （英） | Since the advent of Vision Transformer, a deep learning model for image recognition without Convolution, MLP-based models have attracted a lot of attention as an alternative to CNNs. MLP-based achieve high recognition accuracy in image recognition despite the lack of Convolution. Research on MLP-based, such as MLP-Mixer and gMLP, achieves high recognition accuracy with a simpler structure. For low-latency inference, the computational efficiency is reduced on GPUs due to the small amount of computational data per processing unit, and dedicated circuits such as FPGAs are considered to be more suitable. In this paper, we propose an FPGA circuit for an inference accelerator for MLP-based model, where we focus on efficiently computing the matrix product with high parallelism, since the simple matrix product in the MLP layer accounts for most of the computation in MLP-based models. We have designed a circuit that computes the product of two large matrices in one cycle by designing a bit-wide GEMM and a dedicated instruction set. In this paper, we implemented the proposed circuit on a Xilinx ZCU102 FPGA board and performed inference on the gMLP-S model. experimental results for class classification on the ImageNet dataset show that our implementation has a recognition accuracy of 74.5%, an inference speed of 159.0FPS and 6.3ms, and a power consumption of 24.9W. Compared to a mobile GPU, the proposed implementation is 4.4 times faster and 6.1 times more power efficient; compared to an existing FPGA implementation of the CNN model, our implementation has over 3% higher recognition accuracy with comparable inference speed. | |
| キーワード | （和） | DNN / Vision Transformer / MLP / gMLP / FPGA / / / |
| （英） | DNN / Vision Transformer / MLP / gMLP / FPGA / / / | |
| 文献情報 | 信学技報, vol. 121, no. 280, RECONF2021-29, pp. 25-30, 2021年12月. | |
| 資料番号 | RECONF2021-29 | |
| 発行日 | 2021-11-24 (VLD, ICD, DC, RECONF) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | VLD2021-21 ICD2021-31 DC2021-27 RECONF2021-29 エレソ技報アーカイブへのリンク：ICD2021-31 |
|
| 研究会情報 | |
| 研究会 | VLD DC RECONF ICD IPSJ-SLDM |
| 開催期間 | 2021-12-01 - 2021-12-02 |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | デザインガイア2021 -VLSI設計の新しい大地- |
| テーマ（英） | Design Gaia 2021 -New Field of VLSI Design- |
| 講演論文情報の詳細 | |
| 申込み研究会 | RECONF |
| 会議コード | 2021-12-VLD-DC-RECONF-ICD-SLDM |
| 本文の言語 | 日本語 |
| タイトル（和） | gMLPを用いた画像認識向けDNNアクセラレータのFPGA実装 |
| サブタイトル（和） | |
| タイトル（英） | Block Sparse MLP-based Vision DNN Accelerators on Embedded FPGAs |
| サブタイトル（英） | |
| キーワード(1)（和/英） | DNN / DNN |
| キーワード(2)（和/英） | Vision Transformer / Vision Transformer |
| キーワード(3)（和/英） | MLP / MLP |
| キーワード(4)（和/英） | gMLP / gMLP |
| キーワード(5)（和/英） | FPGA / FPGA |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 神宮司 明良 / Akira Jinguji / ジングウジ アキラ |
| 第1著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 第2著者 氏名（和/英/ヨミ） | 中原 啓貴 / Hiroki Nakahara / ナカハラ ヒロキ |
| 第2著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 第3著者 氏名（和/英/ヨミ） | / / |
| 第3著者 所属（和/英） | (略称： ) (略称： ) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2021-12-01 09:20:00 |
| 発表時間 | 25分 |
| 申込先研究会 | RECONF |
| 資料番号 | VLD2021-21, ICD2021-31, DC2021-27, RECONF2021-29 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | no.277(VLD), no.278(ICD), no.279(DC), no.280(RECONF) |
| ページ範囲 | pp.25-30 |
| ページ数 | 6 |
| 発行日 | 2021-11-24 (VLD, ICD, DC, RECONF) |
[研究会発表申込システムのトップページに戻る]