講演抄録/キーワード |
講演名 |
2016-09-06 13:50
近似を導入した簡略化アルゴリズムに基づくRNN回路のリソース削減と高効率化 ○村田大智・廣瀬哲也・黒木修隆・沼 昌宏(神戸大) RECONF2016-38 |
抄録 |
(和) |
本稿では,時系列情報の学習に有効なニューラルネットワークであるRNN(Recurrent Neural Network)のハードウェア化による消費電力低減を目的として,小規模な回路で効率的にRNNを実現するための簡略化アルゴリズムを提案する。
具体的には,LSTM(Long Short-Term Memory)レイヤのシグモイド関数や双曲線正接関数に対して,線型近似を適用することで処理を簡略化する。この時,近似関数の与え方を工夫することで,精度低下を抑制した。さらに,プーリング・レイヤのアルゴリズムを簡略化し,加算器の利用回数を削減することで演算レイテンシを低減する。
提案回路をFPGA上に実装して評価を行った結果,近似関数を導入することで,LSTM回路においては従来回路と比較して,演算器を88.6%,メモリを 79.1% 削減できる一方,精度低下は許容範囲内に収まることを確認した。さらに,簡略化したプーリング・アルゴリズムを導入することで,プーリング回路の演算レイテンシを従来回路と比較して84.3% 削減可能となった。 |
(英) |
This paper presents an efficient and small-scaled RNN (Recurrent Neural Network) hardware architecture based on approximation of RNN algorithm for hardware implementation.
In an LSTM (Long Short-Term Memory) layer, using an approximate function instead of sigmoid function and hyperbolic function is the key to save hardware resources while keeping the accuracy of RNN results. Moreover, we propose a technique to reduce latency by simplifying pooling layer.
Experimental results have shown that our LSTM architecture using the approximate function reduces computing element area by 88.6%, and memory element area by 79.1% while keeping the accuracy of RNN results. Moreover, the proposed pooling hardware architecture reduces latency by 84.3%. |
キーワード |
(和) |
FPGA / RNN / LSTM / 関数近似 / / / / |
(英) |
FPGA / RNN / LSTM / Function Approximation / / / / |
文献情報 |
信学技報, vol. 116, no. 210, RECONF2016-38, pp. 69-74, 2016年9月. |
資料番号 |
RECONF2016-38 |
発行日 |
2016-08-29 (RECONF) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
査読に ついて |
本技術報告は査読を経ていない技術報告であり,推敲を加えられていずれかの場に発表されることがあります. |
PDFダウンロード |
RECONF2016-38 |
研究会情報 |
研究会 |
RECONF |
開催期間 |
2016-09-05 - 2016-09-06 |
開催地(和) |
富山大学 |
開催地(英) |
Univ. of Toyama |
テーマ(和) |
リコンフィギャラブルシステム、一般 |
テーマ(英) |
Reconfigurable Systems, etc. |
講演論文情報の詳細 |
申込み研究会 |
RECONF |
会議コード |
2016-09-RECONF |
本文の言語 |
日本語 |
タイトル(和) |
近似を導入した簡略化アルゴリズムに基づくRNN回路のリソース削減と高効率化 |
サブタイトル(和) |
|
タイトル(英) |
An Efficient and Small-Scaled RNN Hardware Architecture Based on Approximation of RNN Algorithm for Hardware Implementation |
サブタイトル(英) |
|
キーワード(1)(和/英) |
FPGA / FPGA |
キーワード(2)(和/英) |
RNN / RNN |
キーワード(3)(和/英) |
LSTM / LSTM |
キーワード(4)(和/英) |
関数近似 / Function Approximation |
キーワード(5)(和/英) |
/ |
キーワード(6)(和/英) |
/ |
キーワード(7)(和/英) |
/ |
キーワード(8)(和/英) |
/ |
第1著者 氏名(和/英/ヨミ) |
村田 大智 / Daichi Murata / ムラタ ダイチ |
第1著者 所属(和/英) |
神戸大学 (略称: 神戸大)
Kobe University (略称: Kobe Univ.) |
第2著者 氏名(和/英/ヨミ) |
廣瀬 哲也 / Tetsuya Hirose / ヒロセ テツヤ |
第2著者 所属(和/英) |
神戸大学 (略称: 神戸大)
Kobe University (略称: Kobe Univ.) |
第3著者 氏名(和/英/ヨミ) |
黒木 修隆 / Nobutaka Kuroki / クロキ ノブタカ |
第3著者 所属(和/英) |
神戸大学 (略称: 神戸大)
Kobe University (略称: Kobe Univ.) |
第4著者 氏名(和/英/ヨミ) |
沼 昌宏 / Masahiro Numa / ヌマ マサヒロ |
第4著者 所属(和/英) |
神戸大学 (略称: 神戸大)
Kobe University (略称: Kobe Univ.) |
第5著者 氏名(和/英/ヨミ) |
/ / |
第5著者 所属(和/英) |
(略称: )
(略称: ) |
第6著者 氏名(和/英/ヨミ) |
/ / |
第6著者 所属(和/英) |
(略称: )
(略称: ) |
第7著者 氏名(和/英/ヨミ) |
/ / |
第7著者 所属(和/英) |
(略称: )
(略称: ) |
第8著者 氏名(和/英/ヨミ) |
/ / |
第8著者 所属(和/英) |
(略称: )
(略称: ) |
第9著者 氏名(和/英/ヨミ) |
/ / |
第9著者 所属(和/英) |
(略称: )
(略称: ) |
第10著者 氏名(和/英/ヨミ) |
/ / |
第10著者 所属(和/英) |
(略称: )
(略称: ) |
第11著者 氏名(和/英/ヨミ) |
/ / |
第11著者 所属(和/英) |
(略称: )
(略称: ) |
第12著者 氏名(和/英/ヨミ) |
/ / |
第12著者 所属(和/英) |
(略称: )
(略称: ) |
第13著者 氏名(和/英/ヨミ) |
/ / |
第13著者 所属(和/英) |
(略称: )
(略称: ) |
第14著者 氏名(和/英/ヨミ) |
/ / |
第14著者 所属(和/英) |
(略称: )
(略称: ) |
第15著者 氏名(和/英/ヨミ) |
/ / |
第15著者 所属(和/英) |
(略称: )
(略称: ) |
第16著者 氏名(和/英/ヨミ) |
/ / |
第16著者 所属(和/英) |
(略称: )
(略称: ) |
第17著者 氏名(和/英/ヨミ) |
/ / |
第17著者 所属(和/英) |
(略称: )
(略称: ) |
第18著者 氏名(和/英/ヨミ) |
/ / |
第18著者 所属(和/英) |
(略称: )
(略称: ) |
第19著者 氏名(和/英/ヨミ) |
/ / |
第19著者 所属(和/英) |
(略称: )
(略称: ) |
第20著者 氏名(和/英/ヨミ) |
/ / |
第20著者 所属(和/英) |
(略称: )
(略称: ) |
講演者 |
第1著者 |
発表日時 |
2016-09-06 13:50:00 |
発表時間 |
25分 |
申込先研究会 |
RECONF |
資料番号 |
RECONF2016-38 |
巻番号(vol) |
vol.116 |
号番号(no) |
no.210 |
ページ範囲 |
pp.69-74 |
ページ数 |
6 |
発行日 |
2016-08-29 (RECONF) |