| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2022-01-21 16:00 Hutchinson近似に基づく行列対角化を用いた2次近似勾配学習法に関する研究 ○山富 龍・マハブービ シェヘラザード・二宮 洋（湘南工科大）  NLP2021-89 MICT2021-64 MBE2021-50 |
|
| 抄録 | （和） | 本研究では，ニュートン法の計算コスト削減を目指した新しい2次近似勾配法に基づく学習アルゴリズムを提案する．ニューラルネットワーク(NN)の学習において，1次近似勾配法は計算コストが低いため，一般的に使用されている．しかし，非線形問題の最適化において，1次近似勾配法は解を得る為に多くの反復を必要とし，問題の非線形性の強さによっては現実的な時間で解を得ることができない．一方，この問題に対して有効とされている2次近似勾配法のニュートン法に基づく学習アルゴリズムでは，ヘッセ行列が使用されているため計算コストが高く，大規模な非線形問題に対する学習が困難となる．そこで本研究では，ニュートン法の計算コストを削減に着目し，ヘッセ行列を対角行列に近似できるHutchinson手法に基づく行列対角化手法をニュートン法に導入した新たな学習アルゴリズムHuchinson対角化ニュートン法（HdN)を提案する．提案手法をNNの学習に応用し，その有効性を実験により示す． |
| （英） | In this study, we propose a new training algorithm based on the second-order approximated gradient method, which aims to reduce the computational cost of the Newton method. In neural network (NN) training, the first-order approximate gradient methods are commonly used because of its low computational cost. However, when applied to highly nonlinear problems, first-order methods still converge too slowly, and optimization error cannot effectively reduced within finite time despite its advantages. On the other hand, the training algorithm based on Newton method which is considered effective for this problem, is computationally expensive because it uses Hessian matrices, making it difficult to train for large-scale nonlinear problems. In this study, we focus on reducing the computational cost of the Newton method and propose a new learning algorithm as Hutchinson diagonalized Newton method (HdN), which is realized by the approximated diagonal Hessian matrix using the diagonal matrix based on Hutchinson estimator. We apply the proposed method to the training of NN, and the performance of the proposed method is demonstrated through computer simulations. | |
| キーワード | （和） | ニューラルネットワーク / 学習アルゴリズム / ニュートン法 / ヘッセ行列近似法 / Hutchinson手法 / / / |
| （英） | Neural network / training algorithm / Newton method / hessian approximation scheme / Hutchinson estimator / / / | |
| 文献情報 | 信学技報, vol. 121, no. 335, NLP2021-89, pp. 67-70, 2022年1月. | |
| 資料番号 | NLP2021-89 | |
| 発行日 | 2022-01-14 (NLP, MICT, MBE) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NLP2021-89 MICT2021-64 MBE2021-50 |
|
| 研究会情報 | |
| 研究会 | NLP MICT MBE NC |
| 開催期間 | 2022-01-21 - 2022-01-23 |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | NC, ME，MICT，NLP, 一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | NLP |
| 会議コード | 2022-01-NLP-MICT-MBE-NC |
| 本文の言語 | 日本語 |
| タイトル（和） | Hutchinson近似に基づく行列対角化を用いた2次近似勾配学習法に関する研究 |
| サブタイトル（和） | |
| タイトル（英） | On the Study of Second-Order Training Algorithm using Matrix Diagonalization based on Hutchinson estimation |
| サブタイトル（英） | |
| キーワード(1)（和/英） | ニューラルネットワーク / Neural network |
| キーワード(2)（和/英） | 学習アルゴリズム / training algorithm |
| キーワード(3)（和/英） | ニュートン法 / Newton method |
| キーワード(4)（和/英） | ヘッセ行列近似法 / hessian approximation scheme |
| キーワード(5)（和/英） | Hutchinson手法 / Hutchinson estimator |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 山富 龍 / Ryo Yamatomi / ヤマトミ リョウ |
| 第1著者 所属（和/英） | 湘南工科大学 (略称： 湘南工科大) Shonan Institute of Technology (略称： Shonan Inst. Tec.) |
| 第2著者 氏名（和/英/ヨミ） | マハブービ シェヘラザード / Shahrzad Mahboubi / |
| 第2著者 所属（和/英） | 湘南工科大学 (略称： 湘南工科大) Shonan Institute of Technology (略称： Shonan Inst. Tec.) |
| 第3著者 氏名（和/英/ヨミ） | 二宮 洋 / Hiroshi Ninomiya / ニノミヤ ヒロシ |
| 第3著者 所属（和/英） | 湘南工科大学 (略称： 湘南工科大) Shonan Institute of Technology (略称： Shonan Inst. Tec.) |
| 講演者 | 第1著者 |
| 発表日時 | 2022-01-21 16:00:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NLP |
| 資料番号 | NLP2021-89, MICT2021-64, MBE2021-50 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | no.335(NLP), no.336(MICT), no.337(MBE) |
| ページ範囲 | pp.67-70 |
| ページ数 | 4 |
| 発行日 | 2022-01-14 (NLP, MICT, MBE) |
[研究会発表申込システムのトップページに戻る]