講演抄録/キーワード |
講演名 |
2016-01-29 12:10
ネステロフの加速準ニュートン法による学習アルゴリズムの提案 ○二宮 洋(湘南工科大) NLP2015-141 |
抄録 |
(和) |
本研究では,ネステロフによる加速勾配法を準ニュートン法に応用した新たな勾配法を提案する.近年,ネステロフ加速勾配法をニューラルネットワークの学習に応用した研究が盛んである.ネステロフ加速勾配法は,学習アルゴリズムで従来から用いられてきたモーメント法と同様に慣性項を反復に導入し,さらに,勾配ベクトル導出時にも用いた勾配法である.本研究では,この手法を準ニュートン法へ応用することで,準ニュートン法による学習の収束速度を向上させることを目的としている.提案手法をニューラルネットワークの学習に応用し,その有効性をシミュレーションにより示す. |
(英) |
This paper describes a new quasi-Newton based accelerated technique for training of neural networks. Recently, Nesterov’s accelerated gradient method was utilized for training the neural networks. This paper proposes an accelerated technique for quasi-Newton training algorithm using Nesterov’s gradient method. It is shown that the proposed algorithm has the same convergence property with conventional quasi-Newton method. Neural network training for a benchmark problem is presented to demonstrate the proposed algorithm. The proposed algorithm drastically improves the convergence speed of the quasi-Newton based training algorithms. |
キーワード |
(和) |
ニューラルネットワーク / 学習アルゴリズム / ネステロㇷの加速勾配法 / 準ニュートン法 / / / / |
(英) |
Neural networks / training algorithm / Nesterov's accelerated gradient method / quasi-Newton method / / / / |
文献情報 |
信学技報, vol. 115, no. 425, NLP2015-141, pp. 87-92, 2016年1月. |
資料番号 |
NLP2015-141 |
発行日 |
2016-01-21 (NLP) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
NLP2015-141 |
研究会情報 |
研究会 |
NC NLP |
開催期間 |
2016-01-28 - 2016-01-29 |
開催地(和) |
九州工業大学 若松キャンパス |
開催地(英) |
Kyushu Institute of Technology |
テーマ(和) |
ニューロコンピューティングの実装および人間科学のための解析・モデル化,一般 |
テーマ(英) |
Implementation of Neuro Computing,Analysis and Modeling of Human Science, etc |
講演論文情報の詳細 |
申込み研究会 |
NLP |
会議コード |
2016-01-NC-NLP |
本文の言語 |
日本語 |
タイトル(和) |
ネステロフの加速準ニュートン法による学習アルゴリズムの提案 |
サブタイトル(和) |
|
タイトル(英) |
Accelerated quasi-Newton Training using Nesterov's Gradient Method |
サブタイトル(英) |
|
キーワード(1)(和/英) |
ニューラルネットワーク / Neural networks |
キーワード(2)(和/英) |
学習アルゴリズム / training algorithm |
キーワード(3)(和/英) |
ネステロㇷの加速勾配法 / Nesterov's accelerated gradient method |
キーワード(4)(和/英) |
準ニュートン法 / quasi-Newton method |
キーワード(5)(和/英) |
/ |
キーワード(6)(和/英) |
/ |
キーワード(7)(和/英) |
/ |
キーワード(8)(和/英) |
/ |
第1著者 氏名(和/英/ヨミ) |
二宮 洋 / Hiroshi Ninomiya / ニノミヤ ヒロシ |
第1著者 所属(和/英) |
湘南工科大学 (略称: 湘南工科大)
Shonan Institute of Technology (略称: SIT) |
第2著者 氏名(和/英/ヨミ) |
/ / |
第2著者 所属(和/英) |
(略称: )
(略称: ) |
第3著者 氏名(和/英/ヨミ) |
/ / |
第3著者 所属(和/英) |
(略称: )
(略称: ) |
第4著者 氏名(和/英/ヨミ) |
/ / |
第4著者 所属(和/英) |
(略称: )
(略称: ) |
第5著者 氏名(和/英/ヨミ) |
/ / |
第5著者 所属(和/英) |
(略称: )
(略称: ) |
第6著者 氏名(和/英/ヨミ) |
/ / |
第6著者 所属(和/英) |
(略称: )
(略称: ) |
第7著者 氏名(和/英/ヨミ) |
/ / |
第7著者 所属(和/英) |
(略称: )
(略称: ) |
第8著者 氏名(和/英/ヨミ) |
/ / |
第8著者 所属(和/英) |
(略称: )
(略称: ) |
第9著者 氏名(和/英/ヨミ) |
/ / |
第9著者 所属(和/英) |
(略称: )
(略称: ) |
第10著者 氏名(和/英/ヨミ) |
/ / |
第10著者 所属(和/英) |
(略称: )
(略称: ) |
第11著者 氏名(和/英/ヨミ) |
/ / |
第11著者 所属(和/英) |
(略称: )
(略称: ) |
第12著者 氏名(和/英/ヨミ) |
/ / |
第12著者 所属(和/英) |
(略称: )
(略称: ) |
第13著者 氏名(和/英/ヨミ) |
/ / |
第13著者 所属(和/英) |
(略称: )
(略称: ) |
第14著者 氏名(和/英/ヨミ) |
/ / |
第14著者 所属(和/英) |
(略称: )
(略称: ) |
第15著者 氏名(和/英/ヨミ) |
/ / |
第15著者 所属(和/英) |
(略称: )
(略称: ) |
第16著者 氏名(和/英/ヨミ) |
/ / |
第16著者 所属(和/英) |
(略称: )
(略称: ) |
第17著者 氏名(和/英/ヨミ) |
/ / |
第17著者 所属(和/英) |
(略称: )
(略称: ) |
第18著者 氏名(和/英/ヨミ) |
/ / |
第18著者 所属(和/英) |
(略称: )
(略称: ) |
第19著者 氏名(和/英/ヨミ) |
/ / |
第19著者 所属(和/英) |
(略称: )
(略称: ) |
第20著者 氏名(和/英/ヨミ) |
/ / |
第20著者 所属(和/英) |
(略称: )
(略称: ) |
講演者 |
第1著者 |
発表日時 |
2016-01-29 12:10:00 |
発表時間 |
25分 |
申込先研究会 |
NLP |
資料番号 |
NLP2015-141 |
巻番号(vol) |
vol.115 |
号番号(no) |
no.425 |
ページ範囲 |
pp.87-92 |
ページ数 |
6 |
発行日 |
2016-01-21 (NLP) |