| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2020-10-12 15:50 常微分方程式を用いたニューラルネットワークのFPGA実装の検討 ○渡邉寛悠・松谷宏紀（慶大）  CPSY2020-21 DC2020-21 |
|
| 抄録 | （和） | ODE-Netとは、深層学習におけるResNetを常微分方程式の解法の一種であるオイラー法であるとみなし、ResNetにおける積層構造を、常微分方程式のソルバーに置換、パラメータ数の削減や、ソルバーの切り替えによる精度と速度のトレードオフの取捨選択が可能になるという利点が挙げられる。これらの利点は、資源の限られたエッジデバイスでの推論の高速化や、パラメータ数を維持したままでの深層学習モデルの高精度化や、あるいは精度を落とさずに、パラメータ数の削減等が期待できる点である。しかしながら、このODE-Netは、通常の深層学習モデルとはことなり、勾配の計算時に、誤差逆伝播法以外の手法を使用し、また、勾配の計算時にもソルバーを使用するという特徴がある。従って、通常の深層学習モデルとは、推論や学習、アーキテクチャの変化に伴って、ボトルネックの箇所が変化し得る。 そのため、本論文では、オイラー法と2次ルンゲクッタ法、4次ルンゲクッタ法に対して実行時間と精度に対する解析を行い、ソルバーの実行がボトルネックとなっていることを示した。また、オイラー法をPynq-Z2のFPGAに実装した場合、オイラー法の実行時間における性能向上が5.913倍となることを見積もりに基づく評価によって示した。 |
| （英） | (Available after conference date) | |
| キーワード | （和） | ニューラルネットワーク / 常微分方程式 / Neural ODE / FPGA / / / / |
| （英） | / / / / / / / | |
| 文献情報 | 信学技報, vol. 120, no. 188, CPSY2020-21, pp. 22-27, 2020年10月. | |
| 資料番号 | CPSY2020-21 | |
| 発行日 | 2020-10-05 (CPSY, DC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | CPSY2020-21 DC2020-21 |
|
| 研究会情報 | |
| 研究会 | DC CPSY IPSJ-ARC |
| 開催期間 | 2020-10-12 - 2020-10-12 |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | HotSPA2020: アーキテクチャ，コンピュータシステム，ディペンダブルコンピューティングおよび一般 |
| テーマ（英） | Architecture, Computer Systems, Dependable Computing, etc. (HotSPA2020) |
| 講演論文情報の詳細 | |
| 申込み研究会 | CPSY |
| 会議コード | 2020-10-DC-CPSY-ARC |
| 本文の言語 | 日本語 |
| タイトル（和） | 常微分方程式を用いたニューラルネットワークのFPGA実装の検討 |
| サブタイトル（和） | |
| タイトル（英） | A Case for FPGA Implementation of ODE-Based Neural Networks |
| サブタイトル（英） | |
| キーワード(1)（和/英） | ニューラルネットワーク / |
| キーワード(2)（和/英） | 常微分方程式 / |
| キーワード(3)（和/英） | Neural ODE / |
| キーワード(4)（和/英） | FPGA / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 渡邉 寛悠 / Hirohisa Watanabe / ワタナベ ヒロヒサ |
| 第1著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 松谷 宏紀 / Hiroki Matsutani / マツタニ ヒロキ |
| 第2著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 第3著者 氏名（和/英/ヨミ） | / / |
| 第3著者 所属（和/英） | (略称： ) (略称： ) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2020-10-12 15:50:00 |
| 発表時間 | 30分 |
| 申込先研究会 | CPSY |
| 資料番号 | CPSY2020-21, DC2020-21 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | no.188(CPSY), no.189(DC) |
| ページ範囲 | pp.22-27 |
| ページ数 | 6 |
| 発行日 | 2020-10-05 (CPSY, DC) |
[研究会発表申込システムのトップページに戻る]