お知らせ 2023年度・2024年度 学生員 会費割引キャンペーン実施中です
お知らせ 技術研究報告と和文論文誌Cの同時投稿施策(掲載料1割引き)について
お知らせ 電子情報通信学会における研究会開催について
お知らせ NEW 参加費の返金について
電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
[ログイン]
技報アーカイブ
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2016-11-16 15:00
Weight Normalizationによる高速なオンライン学習の統計力学的解析
吉田雄紀唐木田 亮岡田真人東大)・甘利俊一理研IBISML2016-60
抄録 (和) ニューラルネットワークの学習を行う際に,その結合加重ベクトルを動径長と方向ベクトルに分解して最急勾配法を行う weight normalization と呼ばれる手法が Salimans & Kingma (2016) にて提唱され,画像認識タスクや強化学習タスクで通常の座標の下での勾配法よりも高速に収束することが報告されている.しかし,その理論的根拠は不十分であった.そこで我々は,weight normalization を用いた2層線形および非線形パーセプトロンの学習に対して,オンライン学習の統計力学的解析手法を適用し,オーダパラメータが従うダイナミクスを導出し,その解析を行った.その結果,weight normalization では,結合加重ベクトルの方向余弦の実効的な学習係数が自動調整されており,その自動調整の結果として,学習係数の設定値に依存しない高速な学習の収束が実現していることが確認された.また,そのような高速な学習の収束は,動径長の初期値が大域解に近い場合に実現することが明らかとなり,weight normalization を行う際には動径長の初期値の設定が重要であることが示唆された. 
(英) Weight normalization (WN), a newly developed optimization algorithm for neural networks by Salimans & Kingma(2016), factorizes the weight vector of a neural network into a radial length and a direction vector, and the factorized parameters follow their steepest gradient descent update. They showed that learning with WN yields better converging speed in several practical tasks including image recognition and reinforcement learning than learning with the conventional steepest descent. However, it remains theoretically unclear why this method works well. In this study, we used a statistical mechanical approach to analyze on-line learning in single layer linear and nonlinear perceptrons with WN. By deriving order parameters of the dynamics of learning, we confirmed quantitatively that WN achieves fast converging speed by automatically tuning the effective learning rate, irrespective of the nonlinearity of the neural network. This fast converging is realized when the initial value of the radial length is near the global minimum; therefore, our theory suggests that it is important to choose the initial value of the radial length appropriately when using WN.
キーワード (和) ニューラルネットワーク / 動径座標勾配法 / オンライン学習 / 統計力学 / / / /  
(英) Neural network / Weight normalization / Online learning / Statistical mechanics / / / /  
文献情報 信学技報, vol. 116, no. 300, IBISML2016-60, pp. 101-108, 2016年11月.
資料番号 IBISML2016-60 
発行日 2016-11-09 (IBISML) 
ISSN Print edition: ISSN 0913-5685    Online edition: ISSN 2432-6380
著作権に
ついて
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034)
PDFダウンロード IBISML2016-60

研究会情報
研究会 IBISML  
開催期間 2016-11-16 - 2016-11-18 
開催地(和) 京都大学 
開催地(英) Kyoto Univ. 
テーマ(和) 情報論的学習理論ワークショップ(IBIS2016) 
テーマ(英) Information-Based Induction Science Workshop (IBIS2016) 
講演論文情報の詳細
申込み研究会 IBISML 
会議コード 2016-11-IBISML 
本文の言語 日本語 
タイトル(和) Weight Normalizationによる高速なオンライン学習の統計力学的解析 
サブタイトル(和)  
タイトル(英) Statistical Mechanical Analysis of Fast Online Learning with Weight Normalization 
サブタイトル(英)  
キーワード(1)(和/英) ニューラルネットワーク / Neural network  
キーワード(2)(和/英) 動径座標勾配法 / Weight normalization  
キーワード(3)(和/英) オンライン学習 / Online learning  
キーワード(4)(和/英) 統計力学 / Statistical mechanics  
キーワード(5)(和/英) /  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 吉田 雄紀 / Yuki Yoshida / ヨシダ ユウキ
第1著者 所属(和/英) 東京大学 (略称: 東大)
The University of Tokyo (略称: UTokyo)
第2著者 氏名(和/英/ヨミ) 唐木田 亮 / Ryo Karakida / カラキダ リョウ
第2著者 所属(和/英) 東京大学 (略称: 東大)
The University of Tokyo (略称: UTokyo)
第3著者 氏名(和/英/ヨミ) 岡田 真人 / Masato Okada / オカダ マサト
第3著者 所属(和/英) 東京大学 (略称: 東大)
The University of Tokyo (略称: UTokyo)
第4著者 氏名(和/英/ヨミ) 甘利 俊一 / Shun-ichi Amari / アマリ シュンイチ
第4著者 所属(和/英) 理化学研究所 (略称: 理研)
RIKEN (略称: RIKEN)
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者 第1著者 
発表日時 2016-11-16 15:00:00 
発表時間 180分 
申込先研究会 IBISML 
資料番号 IBISML2016-60 
巻番号(vol) vol.116 
号番号(no) no.300 
ページ範囲 pp.101-108 
ページ数
発行日 2016-11-09 (IBISML) 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会