| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2017-11-10 13:00 複数の出力素子をもつ三層パーセプトロンの学習ダイナミクスの統計力学的解析 ～ プラトー現象の再検討 ～ ○吉田雄紀（東大）・唐木田 亮（産総研）・岡田真人（東大/産総研/理研）・甘利俊一（理研）  IBISML2017-83 |
|
| 抄録 | （和） | ニューラルネットワークの学習を困難にする要因の一つに，学習中に誤差が停滞するプラトー現象が挙げられる． ニューラルネットワークの構造に由来する「特異領域」が このようなプラトーの一因となることを Amari らが指摘して以降， 三層のネットワークによるプラトー周りでの学習力学の解析が様々なされてきた． しかしながら，いずれの研究も，出力素子数が 1 個のネットワークを解析しており， 複数の出力素子をもつ場合は調べられていない． Amari らによれば，出力素子が複数の場合には，プラトーに陥りにくくなる可能性があるという． そこで今回，出力素子が複数の場合について，統計力学的定式化の下で，学習ダイナミクスを検討した． 三層非線形ネットワークの結合加重に関するオーダパラメータが従う微分方程式を解析的に導出し，その数値解によって， 学習の挙動を調べた．その結果，少なくともシンプルなモデルにおいて， 特異領域由来のプラトーが軽減または消失することが実際に確認された． これは，正解データを出力するモデルが，出力素子が1個の場合と等価なモデルから離れるほど， すなわち，非退化なモデルとなるほど，その傾向にあり， また，最も非退化な状況である直交初期化を行った場合には，特異領域由来のプラトーが全く生じないことが，理論的に導出された． |
| （英） | The plateau phenomenon --- stopping decrease of error in the middle of learning --- is problematic. Since Amari et al. pointed out that singular regions stemming from structure of neural network cause such plateaus, dynamics of learning with two-layered networks has been studied intensively. However, all these researches deal with networks which have one-dimensional output, thus two-or-more dimensional output cases are overlooked．according to Amari et al., such networks might be unlikely to be trapped in a plateau. In this article, we analyze the dynamics of learning with two-layer perceptron with multidimensional output under a statistical mechanical formalization. We derive order parameters which capture macroscopic characteristics of connection weights and differential equations which they follow. We show that singular-region-driven plateaus do diminish or vanish at least in a simple setting with multidimensional output. We found that more the model being non-degenerative (i.e. far from one-dimensional output), the more plateaus are alleviated. Moreover, we showed theoretically that singular-region-driven plateaus are not shown at all in the case with orthogonalized initializations. |
|
| キーワード | （和） | ニューラルネットワーク / パーセプトロン / プラトー / 統計力学 / / / / |
| （英） | Neural network / Perceptron / Plateau / Statistical Mechanics / / / / | |
| 文献情報 | 信学技報, vol. 117, no. 293, IBISML2017-83, pp. 347-354, 2017年11月. | |
| 資料番号 | IBISML2017-83 | |
| 発行日 | 2017-11-02 (IBISML) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IBISML2017-83 |
|
| 研究会情報 | |
| 研究会 | IBISML |
| 開催期間 | 2017-11-08 - 2017-11-10 |
| 開催地（和） | 東京大学 |
| 開催地（英） | Univ. of Tokyo |
| テーマ（和） | 情報論的学習理論ワークショップ (IBIS2017) |
| テーマ（英） | Information-Based Induction Science Workshop (IBIS2017) |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2017-11-IBISML |
| 本文の言語 | 日本語 |
| タイトル（和） | 複数の出力素子をもつ三層パーセプトロンの学習ダイナミクスの統計力学的解析 |
| サブタイトル（和） | プラトー現象の再検討 |
| タイトル（英） | Statistical Mechanical Analysis of Learning with Two-Layer Perceptron with Multiple Output Units |
| サブタイトル（英） | Reconsidering Plateau Phenomenon |
| キーワード(1)（和/英） | ニューラルネットワーク / Neural network |
| キーワード(2)（和/英） | パーセプトロン / Perceptron |
| キーワード(3)（和/英） | プラトー / Plateau |
| キーワード(4)（和/英） | 統計力学 / Statistical Mechanics |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 吉田 雄紀 / Yuki Yoshida / ヨシダ ユウキ |
| 第1著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： UTokyo) |
| 第2著者 氏名（和/英/ヨミ） | 唐木田 亮 / Ryo Karakida / カラキダ リョウ |
| 第2著者 所属（和/英） | 産業総合技術研究所 (略称： 産総研) National Institute of Advanced Industrial Science and Technology (略称： AIST) |
| 第3著者 氏名（和/英/ヨミ） | 岡田 真人 / Masato Okada / オカダ マサト |
| 第3著者 所属（和/英） | 東京大学/産業総合技術研究所/理化学研究所脳科学総合研究センター (略称： 東大/産総研/理研) The University of Tokyo/National Institute of Advanced Industrial Science and Technology/RIKEN Brain Science Institute (略称： UTokyo/AIST/RIKEN BSI) |
| 第4著者 氏名（和/英/ヨミ） | 甘利 俊一 / Shun-ichi Amari / アマリ シュンイチ |
| 第4著者 所属（和/英） | 理化学研究所脳科学総合研究センター (略称： 理研) RIKEN Brain Science Institute (略称： RIKEN BSI) |
| 講演者 | 第1著者 |
| 発表日時 | 2017-11-10 13:00:00 |
| 発表時間 | 150分 |
| 申込先研究会 | IBISML |
| 資料番号 | IBISML2017-83 |
| 巻番号（vol） | vol.117 |
| 号番号（no） | no.293 |
| ページ範囲 | pp.347-354 |
| ページ数 | 8 |
| 発行日 | 2017-11-02 (IBISML) |
[研究会発表申込システムのトップページに戻る]