| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2019-03-15 14:55 準ニュートン法における慣性項の影響に関する研究 ○マハブービ シェヘラザード（湘南工科大）・インドラプリヤダルシニ S（静岡大）・二宮 洋（湘南工科大）・浅井秀樹（静岡大）  NLP2018-137 |
|
| 抄録 | （和） | 本研究では，慣性付２次近似勾配モデルで用いられているネステロフの加速勾配を近似した新たな準ニュートン法に基づく学習アルゴリズムを提案する．我々は，慣性付 2 次近似勾配モデルを用いた準ニュートン法をネステロフの加速準ニュートン法として提案し，ニューラルネットワークの学習において有効であることを示した．しかし, ネステロフの加速準ニュートン法では1反復において，2回勾配を計算しなければならない．これは一反復の計算時間を増加させる原因であった．本研究では，ネステロフの加速準ニュートンに用いられているネステロフの加速勾配を，誤差関数を2次関数と見なすことで線形近似する．これにより，1反復における勾配計算を1回に抑え，計算時間の高速化を目指す．提案手法をニューラルネットワークの学習に応用し，その有効性をシミュレーションにより示す． |
| （英） | The Nesterov's Accelerated quasi-Newton (NAQ) method was derived from the quadratic approximation of the error function incorporating the momentum term in the quasi-Newton method. This method was effective for training in neural networks. However, the gradient calculation of NAQ was conducted two times within one iteration. This increased the computation time. In this research we propose a new quasi-Newton based training method that approximates the Nesterov's accelerated gradient used in NAQ such that the gradient is computed only once per iteration. The performance of the proposed method is evaluated on benchmark data-sets and microwave circuit modeling data. The results show significant acceleration in computation time compared to conventional training algorithms. | |
| キーワード | （和） | ニューラルネットワーク / 学習アルゴリズム / 準ニュートン法 / 慣性付２次近似勾配モデル / 慣性項 / / / |
| （英） | Neural network / training algorithm / quasi-Newton method / Nesterov's accelerated quasi-Newton method / momentum term / / / | |
| 文献情報 | 信学技報, vol. 118, no. 498, NLP2018-137, pp. 69-74, 2019年3月. | |
| 資料番号 | NLP2018-137 | |
| 発行日 | 2019-03-07 (NLP) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NLP2018-137 |
|
| 研究会情報 | |
| 研究会 | NLP MSS |
| 開催期間 | 2019-03-14 - 2019-03-15 |
| 開催地（和） | 福井大学 文京キャンパス |
| 開催地（英） | Bunkyo Camp., Univ. of Fukui |
| テーマ（和） | SICE-DES研究会，IEICE-MSS研究会，IEICE-NLP研究会の3研究会併催，一般およびWork In Progress(WIP) |
| テーマ（英） | SICE-DES, IEICE-MSS, IEICE-NLP, Work In Progress, and etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | NLP |
| 会議コード | 2019-03-NLP-MSS |
| 本文の言語 | 日本語 |
| タイトル（和） | 準ニュートン法における慣性項の影響に関する研究 |
| サブタイトル（和） | |
| タイトル（英） | On the Influence of Momentum term in quasi-Newton method |
| サブタイトル（英） | |
| キーワード(1)（和/英） | ニューラルネットワーク / Neural network |
| キーワード(2)（和/英） | 学習アルゴリズム / training algorithm |
| キーワード(3)（和/英） | 準ニュートン法 / quasi-Newton method |
| キーワード(4)（和/英） | 慣性付２次近似勾配モデル / Nesterov's accelerated quasi-Newton method |
| キーワード(5)（和/英） | 慣性項 / momentum term |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | マハブービ シェヘラザード / Shahrzad Mahboubi / マハブービ シェヘラザード |
| 第1著者 所属（和/英） | 湘南工科大学 (略称： 湘南工科大) Shonan Institute of Technology (略称： SIT) |
| 第2著者 氏名（和/英/ヨミ） | インドラプリヤダルシニ S / Indrapriyadarsini s / インドラプリヤダルシニ S |
| 第2著者 所属（和/英） | 静岡大学 (略称： 静岡大) Shizuoka University (略称： Shizuoka Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 二宮 洋 / Hiroshi Ninomiya / ニノミヤ ヒロシ |
| 第3著者 所属（和/英） | 湘南工科大学 (略称： 湘南工科大) Shonan Institute of Technology (略称： SIT) |
| 第4著者 氏名（和/英/ヨミ） | 浅井 秀樹 / Hideki Asai / アサイ ヒデキ |
| 第4著者 所属（和/英） | 静岡大学 (略称： 静岡大) Shizuoka University (略称： Shizuoka Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2019-03-15 14:55:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NLP |
| 資料番号 | NLP2018-137 |
| 巻番号（vol） | vol.118 |
| 号番号（no） | no.498 |
| ページ範囲 | pp.69-74 |
| ページ数 | 6 |
| 発行日 | 2019-03-07 (NLP) |
[研究会発表申込システムのトップページに戻る]