| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2017-07-13 13:25 慣性付2次近似勾配モデルを用いた記憶制限準ニュートン法の有効性に関する研究 ○マハブービ シャヘラザード・二宮 洋（湘南工科大）  NLP2017-32 |
|
| 抄録 | （和） | 近年，大規模データ化に伴い，NNの規模も大規模になることが予想される．従って，学習時に使用するパラメータの規模が莫大となり，メモリの使用量も膨大となる．この状況に対応した2次近似学習アルゴリズムとして記憶制限法を導入した準ニュートン法，記憶制限準ニュートン法が注目されている．本研究では，記憶制限準ニュート法に対して慣性付2次近似勾配モデルを用いることに着目した．我々は，慣性付2次近似勾配モデルを用いた準ニュートン法に基づくアルゴリズムとして，ネステロフの加速準ニュートン法を提案した．この手法では，準ニュートン法に対して学習の収束速度を向上させることに成功した．本研究では，このモデルを記憶制限準ニュートン法に用いることで，その有効性を考察する．具体的には，提案手法をニューラルネットワークの学習に応用し，その有効性をシミュレーションにより示す． |
| （英） | In recent years, along with large-scale data, it is expected that the scale of neural network will be large too. Therefore, the amount of memory becomes enormous as the scale of the parameter of learning becomes huge. To deal with this problem, it is noteworthy that quasi-Newton algorithm incorporating Limited-memory method is effective for large-scale optimization problems. In this paper, we focus on Second-order approximation gradient model with inertial term incorporating Limited-memory scheme. We proposed the quasi-Newton method using Second-order approximation gradient model with inertial term as Nestelov's accelerated quasi-Newton method, improving the convergence speed of training. The effectiveness of Limited-memory scheme for Nestelov's accelerated quasi-Newton method is studied in this research. We apply the proposed method to training of the neural network and show effectiveness using computer simulations. | |
| キーワード | （和） | 記憶制限準ニュートン法 / 慣性付2次近似勾配モデル / ネステロフの加速準ニュートン法 / ニューラルネットワーク / 学習アルゴリズム / / / |
| （英） | Limited-memory quasi-Newton method / Second-order approximation gradient model with inertial term / Nestelov’s accelerated quasi-Newton method / neural network / training algorithm / / / | |
| 文献情報 | 信学技報, vol. 117, no. 121, NLP2017-32, pp. 23-28, 2017年7月. | |
| 資料番号 | NLP2017-32 | |
| 発行日 | 2017-07-06 (NLP) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NLP2017-32 |
|
| 研究会情報 | |
| 研究会 | NLP |
| 開催期間 | 2017-07-13 - 2017-07-14 |
| 開催地（和） | 宮古島マリンターミナル大研修室 |
| 開催地（英） | Miyako Island Marine Terminal |
| テーマ（和） | 一般 |
| テーマ（英） | etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | NLP |
| 会議コード | 2017-07-NLP |
| 本文の言語 | 日本語 |
| タイトル（和） | 慣性付2次近似勾配モデルを用いた記憶制限準ニュートン法の有効性に関する研究 |
| サブタイトル（和） | |
| タイトル（英） | On the Efficiency of Limited-Memory quasi-Newton Training using Second-Order Approximation Gradient Model with Inertial Term |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 記憶制限準ニュートン法 / Limited-memory quasi-Newton method |
| キーワード(2)（和/英） | 慣性付2次近似勾配モデル / Second-order approximation gradient model with inertial term |
| キーワード(3)（和/英） | ネステロフの加速準ニュートン法 / Nestelov’s accelerated quasi-Newton method |
| キーワード(4)（和/英） | ニューラルネットワーク / neural network |
| キーワード(5)（和/英） | 学習アルゴリズム / training algorithm |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | マハブービ シャヘラザード / Shahrzad Mahboubi / マハブービ シャヘラザード |
| 第1著者 所属（和/英） | 湘南工科大学 (略称： 湘南工科大) Shonan Institute of Technology University (略称： SIT) |
| 第2著者 氏名（和/英/ヨミ） | 二宮 洋 / Hiroshi Ninomiya / ニノミヤ ヒロシ |
| 第2著者 所属（和/英） | 湘南工科大学 (略称： 湘南工科大) Shonan Institute of Technology University (略称： SIT) |
| 講演者 | 第1著者 |
| 発表日時 | 2017-07-13 13:25:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NLP |
| 資料番号 | NLP2017-32 |
| 巻番号（vol） | vol.117 |
| 号番号（no） | no.121 |
| ページ範囲 | pp.23-28 |
| ページ数 | 6 |
| 発行日 | 2017-07-06 (NLP) |
[研究会発表申込システムのトップページに戻る]