講演抄録/キーワード |
講演名 |
2016-09-05 13:30
[ショートペーパー]ディープニューラルネットワークのための勾配上のノイズを考慮した効率的な確率的勾配降下法 ○井田安俊・藤原靖宏・岩村相哲(NTT) PRMU2016-64 IBISML2016-19 |
抄録 |
(和) |
ディープニューラルネットワークは画像・音声認識をはじめとした広い分野で使われるモデルである.
確率的勾配降下法は,モデルのパラメータに関する一次勾配を用いて損失関数を最小化するアルゴリズムであり,ディープニューラルネットワークの学習アルゴリズムとして広く用いられている.
ディープニューラルネットワークの損失関数はパラメータに関して多くの鞍点を持つことが示唆されている.
一次勾配のノルムは鞍点付近で小さくなる傾向にあるため,効率的に学習を行うためには鞍点から素早く抜け出す必要がある.
既存手法の一つとして,一次勾配にある分散を持ったノイズを加えて確率的にパラメータを探索することで,鞍点を抜け出す手法がある.
しかし,既存手法では入力の変動によって加わるノイズの分散が考慮されておらず,パラメータ探索を過剰に行ってしまう可能性がある.
そこで本稿では,一次勾配をスケーリングすることで,入力の変動によって加わるノイズの分散を一定値に抑え,探索の積極性を制御する手法を提案する. |
(英) |
|
キーワード |
(和) |
ディープニューラルネットワーク / 確率的勾配降下法 / / / / / / |
(英) |
/ / / / / / / |
文献情報 |
信学技報, vol. 116, no. 209, IBISML2016-19, pp. 93-94, 2016年9月. |
資料番号 |
IBISML2016-19 |
発行日 |
2016-08-29 (PRMU, IBISML) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
PRMU2016-64 IBISML2016-19 |