| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2013-07-09 10:00 動的サンプルサイズ選択法に基づく準ニュートン法による階層型ニューラルネットワークの学習 ○二宮 洋（湘南工科大）  NLP2013-38 |
|
| 抄録 | （和） | 本研究では動的サンプルサイズ決定法を導入した階層型ニューラルネットワークの準ニュートン学習アルゴリズムに関して述べる．従来，階層型ニューラルネットワークの学習法に対して準ニュートン法に基づく学習法としてバッチ勾配学習法及びオンライン勾配学習法が提案されてきた．近年，オンライン学習とバッチ学習を組み合わせたロバストな収束特性を持つ，改良型オンライン準ニュートン法が提案された．改良型オンライン準ニュートン法では，学習データの与え方を改良することで準ニュートン法の収束特性を大幅に向上させることができた．本研究では，学習データの与え方を解析的に決定する手法を提案する．シミュレーションにより提案アルゴリズムが改良型オンライン準ニュートン法と同様のロバストな収束特性を持つことを示す．また，複雑な非線形特性を持つ関数の学習に対する提案手法の有効性を示す． |
| （英） | This paper describes a novel robust training algorithm based on quasi-Newton iteration with the dynamic sample size selection The size of training samples for each iteration is dynamically and analytically determined by variance estimates during the computation of its gradient in the mini-batch training. Furthermore, the size of mini-batch is controlled by a parameter to ensure that the number of samples in a mini-batch changes from a portion of samples (online) to all ones (batch) as quasi-Newton iteration progressed. As a result, the proposed algorithm has strong ability to search a global minimum without being trapped into local minimum. Moreover the iteration during online mode can be shortened compared with previous quasi-Newton-based methods in which the gradient of error function for the training step was improved. | |
| キーワード | （和） | 階層型ニューラルネットワーク / 準ニュートン法 / オンライン／バッチ学習 / サンプルサイズ選択 / / / / |
| （英） | multilayer neural networks / quasi-Newton method / online and batch training / sample size selection / / / / | |
| 文献情報 | 信学技報, vol. 113, no. 116, NLP2013-38, pp. 63-68, 2013年7月. | |
| 資料番号 | NLP2013-38 | |
| 発行日 | 2013-07-01 (NLP) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NLP2013-38 |
|
| 研究会情報 | |
| 研究会 | NLP |
| 開催期間 | 2013-07-08 - 2013-07-09 |
| 開催地（和） | 宮古島マリンターミナル |
| 開催地（英） | Miyako Island Marine Terminal |
| テーマ（和） | 一般 |
| テーマ（英） | General |
| 講演論文情報の詳細 | |
| 申込み研究会 | NLP |
| 会議コード | 2013-07-NLP |
| 本文の言語 | 英語（日本語タイトルあり） |
| タイトル（和） | 動的サンプルサイズ選択法に基づく準ニュートン法による階層型ニューラルネットワークの学習 |
| サブタイトル（和） | |
| タイトル（英） | Dynamic Sample Size Selection based quasi-Newton Training for Multilayer Neural Networks |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 階層型ニューラルネットワーク / multilayer neural networks |
| キーワード(2)（和/英） | 準ニュートン法 / quasi-Newton method |
| キーワード(3)（和/英） | オンライン／バッチ学習 / online and batch training |
| キーワード(4)（和/英） | サンプルサイズ選択 / sample size selection |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 二宮 洋 / Hiroshi Ninomiya / ニノミヤ ヒロシ |
| 第1著者 所属（和/英） | 湘南工科大学 (略称： 湘南工科大) Shonan Institute of Technology (略称： SIT) |
| 第2著者 氏名（和/英/ヨミ） | / / |
| 第2著者 所属（和/英） | (略称： ) (略称： ) |
| 第3著者 氏名（和/英/ヨミ） | / / |
| 第3著者 所属（和/英） | (略称： ) (略称： ) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2013-07-09 10:00:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NLP |
| 資料番号 | NLP2013-38 |
| 巻番号（vol） | vol.113 |
| 号番号（no） | no.116 |
| ページ範囲 | pp.63-68 |
| ページ数 | 6 |
| 発行日 | 2013-07-01 (NLP) |
[研究会発表申込システムのトップページに戻る]