お知らせ 2023年度・2024年度 学生員 会費割引キャンペーン実施中です
お知らせ 技術研究報告と和文論文誌Cの同時投稿施策(掲載料1割引き)について
お知らせ 電子情報通信学会における研究会開催について
お知らせ NEW 参加費の返金について
電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
[ログイン]
技報アーカイブ
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2016-09-05 13:30
[ショートペーパー]ディープニューラルネットワークのための勾配上のノイズを考慮した効率的な確率的勾配降下法
井田安俊藤原靖宏岩村相哲NTTPRMU2016-64 IBISML2016-19
抄録 (和) ディープニューラルネットワークは画像・音声認識をはじめとした広い分野で使われるモデルである.
確率的勾配降下法は,モデルのパラメータに関する一次勾配を用いて損失関数を最小化するアルゴリズムであり,ディープニューラルネットワークの学習アルゴリズムとして広く用いられている.
ディープニューラルネットワークの損失関数はパラメータに関して多くの鞍点を持つことが示唆されている.
一次勾配のノルムは鞍点付近で小さくなる傾向にあるため,効率的に学習を行うためには鞍点から素早く抜け出す必要がある.
既存手法の一つとして,一次勾配にある分散を持ったノイズを加えて確率的にパラメータを探索することで,鞍点を抜け出す手法がある.
しかし,既存手法では入力の変動によって加わるノイズの分散が考慮されておらず,パラメータ探索を過剰に行ってしまう可能性がある.
そこで本稿では,一次勾配をスケーリングすることで,入力の変動によって加わるノイズの分散を一定値に抑え,探索の積極性を制御する手法を提案する. 
(英)
キーワード (和) ディープニューラルネットワーク / 確率的勾配降下法 / / / / / /  
(英) / / / / / / /  
文献情報 信学技報, vol. 116, no. 209, IBISML2016-19, pp. 93-94, 2016年9月.
資料番号 IBISML2016-19 
発行日 2016-08-29 (PRMU, IBISML) 
ISSN Print edition: ISSN 0913-5685    Online edition: ISSN 2432-6380
著作権に
ついて
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034)
PDFダウンロード PRMU2016-64 IBISML2016-19

研究会情報
研究会 PRMU IPSJ-CVIM IBISML  
開催期間 2016-09-05 - 2016-09-06 
開催地(和) 富山大学 
開催地(英)  
テーマ(和) パターン認識・機械学習基盤技術及び一人称視点・注視情報と行動理解 
テーマ(英)  
講演論文情報の詳細
申込み研究会 IBISML 
会議コード 2016-09-PRMU-CVIM-IBISML 
本文の言語 日本語(英語タイトルなし) 
タイトル(和) ディープニューラルネットワークのための勾配上のノイズを考慮した効率的な確率的勾配降下法 
サブタイトル(和)  
タイトル(英)  
サブタイトル(英)  
キーワード(1)(和/英) ディープニューラルネットワーク /  
キーワード(2)(和/英) 確率的勾配降下法 /  
キーワード(3)(和/英) /  
キーワード(4)(和/英) /  
キーワード(5)(和/英) /  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 井田 安俊 / / イダ ヤストシ
第1著者 所属(和/英) 日本電信電話株式会社 (略称: NTT)
(略称: )
第2著者 氏名(和/英/ヨミ) 藤原 靖宏 / / フジワラ ヤスヒロ
第2著者 所属(和/英) 日本電信電話株式会社 (略称: NTT)
(略称: )
第3著者 氏名(和/英/ヨミ) 岩村 相哲 / / イワムラ ソウテツ
第3著者 所属(和/英) 日本電信電話株式会社 (略称: NTT)
(略称: )
第4著者 氏名(和/英/ヨミ) / /
第4著者 所属(和/英) (略称: )
(略称: )
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者 第1著者 
発表日時 2016-09-05 13:30:00 
発表時間 15分 
申込先研究会 IBISML 
資料番号 PRMU2016-64, IBISML2016-19 
巻番号(vol) vol.116 
号番号(no) no.208(PRMU), no.209(IBISML) 
ページ範囲 pp.93-94 
ページ数
発行日 2016-08-29 (PRMU, IBISML) 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会