| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2022-06-09 16:50 慣性項による確率的重み差分伝播法の高速化に関する研究 ○マハブービ シェヘラザード・二宮 洋（湘南工科大）  NLP2022-9 CCS2022-9 |
|
| 抄録 | （和） | 近年, IoTの急速な発展と共に, ニューラルネットワーク(NN)を実装したマイクロコンピュータでデータの処理を行う必要性が日々増加しつつある. 一方で, 搭載されているNNの学習は誤差逆伝播法に基づいているため, 重みの更新に学習サンプル毎に出力層からの逆伝播が必要となり, ハードウエアおよび計算コストが増加する問題があった. これまでに我々は, ハードウエアおよび計算コスト問題を解決するため, 重みの更新に, 重みと重みの差分の積を用いた手法, 確率的重み差分伝播法(SWDP)を提案した. 本研究では, SWDPの高速化を目指すため, 慣性項を導入した新しいアルゴリズム, 慣性付き確率的重み差分伝播法(MoSWDP)を提案する. 提案手法はSWDPの問題点の一つである反復回数の増加を抑制し, 学習精度を保ちながら高速化を可能とすることが期待される. 提案手法の有効性をシミュレーションにより示す. |
| （英） | With the rapid development of the IoT, there has been an increasing need to process the data on microcomputers equipped with neural networks (NN). On the other hand, the NN implemented in the microcomputer is based on the stochastic error backpropagation (SGD) method. In SGD, backpropagation of the derivative of the output layer is required for each training sample to update the weights. This is the reason that hardware and computational costs are increasing. To solve these problems, we proposed the Stochastic Weight Difference Propagation (SWDP), which uses the product of the weights and the difference of that for updating the weights. In this research, the modified algorithm of SWDP is proposed as Momentum in stochastic weighted differential propagation (MoSWDP), which introduces the momentum term to accelerate the SWDP. The proposed method is expected to suppress the increase in the number of iterations, which is one of the disadvantages of SWDP and enables faster training while maintaining training accuracy. | |
| キーワード | （和） | ニューラルネットワーク / 学習アルゴリズム / 確率的勾配降下法 / 重み差分伝播法 / 慣性項 / / / |
| （英） | Neural network / gradient-based training algorithm / stochastic gradient decsent method / weight diffrence propagation / momentum term / / / | |
| 文献情報 | 信学技報, vol. 122, no. 65, NLP2022-9, pp. 40-45, 2022年6月. | |
| 資料番号 | NLP2022-9 | |
| 発行日 | 2022-06-02 (NLP, CCS) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NLP2022-9 CCS2022-9 |
|
| 研究会情報 | |
| 研究会 | CCS NLP |
| 開催期間 | 2022-06-09 - 2022-06-10 |
| 開催地（和） | 大阪大学 豊中キャンパス シグマホール |
| 開催地（英） | |
| テーマ（和） | 一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | NLP |
| 会議コード | 2022-06-CCS-NLP |
| 本文の言語 | 日本語 |
| タイトル（和） | 慣性項による確率的重み差分伝播法の高速化に関する研究 |
| サブタイトル（和） | |
| タイトル（英） | A Study on Accelerating Stochastic Weight Difference Propagation with Momentum Term |
| サブタイトル（英） | |
| キーワード(1)（和/英） | ニューラルネットワーク / Neural network |
| キーワード(2)（和/英） | 学習アルゴリズム / gradient-based training algorithm |
| キーワード(3)（和/英） | 確率的勾配降下法 / stochastic gradient decsent method |
| キーワード(4)（和/英） | 重み差分伝播法 / weight diffrence propagation |
| キーワード(5)（和/英） | 慣性項 / momentum term |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | マハブービ シェヘラザード / Shahrzad Mahboubi / マハブービ シェヘラザード |
| 第1著者 所属（和/英） | 湘南工科大学 (略称： 湘南工科大) Shonan Institute of Technology (略称： Shonan Inst. of Tech.) |
| 第2著者 氏名（和/英/ヨミ） | 二宮 洋 / Hiroshi Ninomiya / ニノミヤ ヒロシ |
| 第2著者 所属（和/英） | 湘南工科大学 (略称： 湘南工科大) Shonan Institute of Technology (略称： Shonan Inst. of Tech.) |
| 第3著者 氏名（和/英/ヨミ） | / / |
| 第3著者 所属（和/英） | (略称： ) (略称： ) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2022-06-09 16:50:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NLP |
| 資料番号 | NLP2022-9, CCS2022-9 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | no.65(NLP), no.66(CCS) |
| ページ範囲 | pp.40-45 |
| ページ数 | 6 |
| 発行日 | 2022-06-02 (NLP, CCS) |
[研究会発表申込システムのトップページに戻る]