講演抄録/キーワード |
講演名 |
2016-11-16 15:00
Weight Normalizationによる高速なオンライン学習の統計力学的解析 ○吉田雄紀・唐木田 亮・岡田真人(東大)・甘利俊一(理研) IBISML2016-60 |
抄録 |
(和) |
ニューラルネットワークの学習を行う際に,その結合加重ベクトルを動径長と方向ベクトルに分解して最急勾配法を行う weight normalization と呼ばれる手法が Salimans & Kingma (2016) にて提唱され,画像認識タスクや強化学習タスクで通常の座標の下での勾配法よりも高速に収束することが報告されている.しかし,その理論的根拠は不十分であった.そこで我々は,weight normalization を用いた2層線形および非線形パーセプトロンの学習に対して,オンライン学習の統計力学的解析手法を適用し,オーダパラメータが従うダイナミクスを導出し,その解析を行った.その結果,weight normalization では,結合加重ベクトルの方向余弦の実効的な学習係数が自動調整されており,その自動調整の結果として,学習係数の設定値に依存しない高速な学習の収束が実現していることが確認された.また,そのような高速な学習の収束は,動径長の初期値が大域解に近い場合に実現することが明らかとなり,weight normalization を行う際には動径長の初期値の設定が重要であることが示唆された. |
(英) |
Weight normalization (WN), a newly developed optimization algorithm for neural networks by Salimans & Kingma(2016), factorizes the weight vector of a neural network into a radial length and a direction vector, and the factorized parameters follow their steepest gradient descent update. They showed that learning with WN yields better converging speed in several practical tasks including image recognition and reinforcement learning than learning with the conventional steepest descent. However, it remains theoretically unclear why this method works well. In this study, we used a statistical mechanical approach to analyze on-line learning in single layer linear and nonlinear perceptrons with WN. By deriving order parameters of the dynamics of learning, we confirmed quantitatively that WN achieves fast converging speed by automatically tuning the effective learning rate, irrespective of the nonlinearity of the neural network. This fast converging is realized when the initial value of the radial length is near the global minimum; therefore, our theory suggests that it is important to choose the initial value of the radial length appropriately when using WN. |
キーワード |
(和) |
ニューラルネットワーク / 動径座標勾配法 / オンライン学習 / 統計力学 / / / / |
(英) |
Neural network / Weight normalization / Online learning / Statistical mechanics / / / / |
文献情報 |
信学技報, vol. 116, no. 300, IBISML2016-60, pp. 101-108, 2016年11月. |
資料番号 |
IBISML2016-60 |
発行日 |
2016-11-09 (IBISML) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
IBISML2016-60 |
研究会情報 |
研究会 |
IBISML |
開催期間 |
2016-11-16 - 2016-11-18 |
開催地(和) |
京都大学 |
開催地(英) |
Kyoto Univ. |
テーマ(和) |
情報論的学習理論ワークショップ(IBIS2016) |
テーマ(英) |
Information-Based Induction Science Workshop (IBIS2016) |
講演論文情報の詳細 |
申込み研究会 |
IBISML |
会議コード |
2016-11-IBISML |
本文の言語 |
日本語 |
タイトル(和) |
Weight Normalizationによる高速なオンライン学習の統計力学的解析 |
サブタイトル(和) |
|
タイトル(英) |
Statistical Mechanical Analysis of Fast Online Learning with Weight Normalization |
サブタイトル(英) |
|
キーワード(1)(和/英) |
ニューラルネットワーク / Neural network |
キーワード(2)(和/英) |
動径座標勾配法 / Weight normalization |
キーワード(3)(和/英) |
オンライン学習 / Online learning |
キーワード(4)(和/英) |
統計力学 / Statistical mechanics |
キーワード(5)(和/英) |
/ |
キーワード(6)(和/英) |
/ |
キーワード(7)(和/英) |
/ |
キーワード(8)(和/英) |
/ |
第1著者 氏名(和/英/ヨミ) |
吉田 雄紀 / Yuki Yoshida / ヨシダ ユウキ |
第1著者 所属(和/英) |
東京大学 (略称: 東大)
The University of Tokyo (略称: UTokyo) |
第2著者 氏名(和/英/ヨミ) |
唐木田 亮 / Ryo Karakida / カラキダ リョウ |
第2著者 所属(和/英) |
東京大学 (略称: 東大)
The University of Tokyo (略称: UTokyo) |
第3著者 氏名(和/英/ヨミ) |
岡田 真人 / Masato Okada / オカダ マサト |
第3著者 所属(和/英) |
東京大学 (略称: 東大)
The University of Tokyo (略称: UTokyo) |
第4著者 氏名(和/英/ヨミ) |
甘利 俊一 / Shun-ichi Amari / アマリ シュンイチ |
第4著者 所属(和/英) |
理化学研究所 (略称: 理研)
RIKEN (略称: RIKEN) |
第5著者 氏名(和/英/ヨミ) |
/ / |
第5著者 所属(和/英) |
(略称: )
(略称: ) |
第6著者 氏名(和/英/ヨミ) |
/ / |
第6著者 所属(和/英) |
(略称: )
(略称: ) |
第7著者 氏名(和/英/ヨミ) |
/ / |
第7著者 所属(和/英) |
(略称: )
(略称: ) |
第8著者 氏名(和/英/ヨミ) |
/ / |
第8著者 所属(和/英) |
(略称: )
(略称: ) |
第9著者 氏名(和/英/ヨミ) |
/ / |
第9著者 所属(和/英) |
(略称: )
(略称: ) |
第10著者 氏名(和/英/ヨミ) |
/ / |
第10著者 所属(和/英) |
(略称: )
(略称: ) |
第11著者 氏名(和/英/ヨミ) |
/ / |
第11著者 所属(和/英) |
(略称: )
(略称: ) |
第12著者 氏名(和/英/ヨミ) |
/ / |
第12著者 所属(和/英) |
(略称: )
(略称: ) |
第13著者 氏名(和/英/ヨミ) |
/ / |
第13著者 所属(和/英) |
(略称: )
(略称: ) |
第14著者 氏名(和/英/ヨミ) |
/ / |
第14著者 所属(和/英) |
(略称: )
(略称: ) |
第15著者 氏名(和/英/ヨミ) |
/ / |
第15著者 所属(和/英) |
(略称: )
(略称: ) |
第16著者 氏名(和/英/ヨミ) |
/ / |
第16著者 所属(和/英) |
(略称: )
(略称: ) |
第17著者 氏名(和/英/ヨミ) |
/ / |
第17著者 所属(和/英) |
(略称: )
(略称: ) |
第18著者 氏名(和/英/ヨミ) |
/ / |
第18著者 所属(和/英) |
(略称: )
(略称: ) |
第19著者 氏名(和/英/ヨミ) |
/ / |
第19著者 所属(和/英) |
(略称: )
(略称: ) |
第20著者 氏名(和/英/ヨミ) |
/ / |
第20著者 所属(和/英) |
(略称: )
(略称: ) |
講演者 |
第1著者 |
発表日時 |
2016-11-16 15:00:00 |
発表時間 |
180分 |
申込先研究会 |
IBISML |
資料番号 |
IBISML2016-60 |
巻番号(vol) |
vol.116 |
号番号(no) |
no.300 |
ページ範囲 |
pp.101-108 |
ページ数 |
8 |
発行日 |
2016-11-09 (IBISML) |