| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2022-01-24 17:10 Ternarizing Deep Spiking Neural Network ○Man Wu・Yirong Kan・Van_Tinh Nguyen・Renyuan Zhang・Yasuhiko Nakashima（NAIST）  VLD2021-61 CPSY2021-30 RECONF2021-69 |
|
| 抄録 | （和） | The feasibility of ternarizing spiking neural networks (SNNs) is studied in this work toward trading a slight accuracy for significantly reducing computational and memory costs. By leveraging a parametric integrate-and-fire (PIF) neuron with learnable threshold and spike-timing-dependent backpropagation (STDB) learning rule, the ternarized spiking neural networks (TSNNs) enable directly trained with low latency and negligible loss of accuracy. To this end, a paradigm for binary-ternary dotproduct operation is realized during the inference; therefore, the TSNNs achieve up to 16x model compression in contrast to the full precision SNNs. Moreover, to mitigate the accuracy gap, an optimized TSNN with a spiking ResNet structure is introduced into TSNN. For proof-of-concept, we evaluate the prototype of proposed TSNN on N-MNIST, CIFAR-10, CIFAR-100, which achieve 98.43%, 89.07%, 65.24% accuracy with 4 timesteps, respectively. On the basis of this prototype, the optimized TSNN improves by 0.84% and 0.51% over CIFAR-10 and CIFAR-100 datasets, respectively. |
| （英） | The feasibility of ternarizing spiking neural networks (SNNs) is studied in this work toward trading a slight accuracy for significantly reducing computational and memory costs. By leveraging a parametric integrate-and-fire (PIF) neuron with learnable threshold and spike-timing-dependent backpropagation (STDB) learning rule, the ternarized spiking neural networks (TSNNs) enable directly trained with low latency and negligible loss of accuracy. To this end, a paradigm for binary-ternary dotproduct operation is realized during the inference; therefore, the TSNNs achieve up to 16x model compression in contrast to the full precision SNNs. Moreover, to mitigate the accuracy gap, an optimized TSNN with a spiking ResNet structure is introduced into TSNN. For proof-of-concept, we evaluate the prototype of proposed TSNN on N-MNIST, CIFAR-10, CIFAR-100, which achieve 98.43%, 89.07%, 65.24% accuracy with 4 timesteps, respectively. On the basis of this prototype, the optimized TSNN improves by 0.84% and 0.51% over CIFAR-10 and CIFAR-100 datasets, respectively. | |
| キーワード | （和） | deep spiking neural network / ternary weights / SNN compression / TSNN / / / / |
| （英） | deep spiking neural network / ternary weights / SNN compression / TSNN / / / / | |
| 文献情報 | 信学技報, vol. 121, no. 343, CPSY2021-30, pp. 67-72, 2022年1月. | |
| 資料番号 | CPSY2021-30 | |
| 発行日 | 2022-01-17 (VLD, CPSY, RECONF) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | VLD2021-61 CPSY2021-30 RECONF2021-69 |
|
| 研究会情報 | |
| 研究会 | RECONF VLD CPSY IPSJ-ARC IPSJ-SLDM |
| 開催期間 | 2022-01-24 - 2022-01-25 |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | FPGA 応用および一般 |
| テーマ（英） | FPGA Applications, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | CPSY |
| 会議コード | 2022-01-RECONF-VLD-CPSY-ARC-SLDM |
| 本文の言語 | 英語 |
| タイトル（和） | |
| サブタイトル（和） | |
| タイトル（英） | Ternarizing Deep Spiking Neural Network |
| サブタイトル（英） | |
| キーワード(1)（和/英） | deep spiking neural network / deep spiking neural network |
| キーワード(2)（和/英） | ternary weights / ternary weights |
| キーワード(3)（和/英） | SNN compression / SNN compression |
| キーワード(4)（和/英） | TSNN / TSNN |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | Man Wu / Man Wu / |
| 第1著者 所属（和/英） | Nara Institute of Science and Technology (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 第2著者 氏名（和/英/ヨミ） | Yirong Kan / Yirong Kan / |
| 第2著者 所属（和/英） | Nara Institute of Science and Technology (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 第3著者 氏名（和/英/ヨミ） | Van_Tinh Nguyen / Van_Tinh Nguyen / |
| 第3著者 所属（和/英） | Nara Institute of Science and Technology (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 第4著者 氏名（和/英/ヨミ） | Renyuan Zhang / Renyuan Zhang / |
| 第4著者 所属（和/英） | Nara Institute of Science and Technology (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 第5著者 氏名（和/英/ヨミ） | Yasuhiko Nakashima / Yasuhiko Nakashima / |
| 第5著者 所属（和/英） | Nara Institute of Science and Technology (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 講演者 | 第1著者 |
| 発表日時 | 2022-01-24 17:10:00 |
| 発表時間 | 25分 |
| 申込先研究会 | CPSY |
| 資料番号 | VLD2021-61, CPSY2021-30, RECONF2021-69 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | no.342(VLD), no.343(CPSY), no.344(RECONF) |
| ページ範囲 | pp.67-72 |
| ページ数 | 6 |
| 発行日 | 2022-01-17 (VLD, CPSY, RECONF) |
[研究会発表申込システムのトップページに戻る]