| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2016-09-05 13:30 ［ショートペーパー］ディープニューラルネットワークのための勾配上のノイズを考慮した効率的な確率的勾配降下法 ○井田安俊・藤原靖宏・岩村相哲（NTT）  PRMU2016-64 IBISML2016-19 |
|
| 抄録 | （和） | ディープニューラルネットワークは画像・音声認識をはじめとした広い分野で使われるモデルである． 確率的勾配降下法は，モデルのパラメータに関する一次勾配を用いて損失関数を最小化するアルゴリズムであり，ディープニューラルネットワークの学習アルゴリズムとして広く用いられている． ディープニューラルネットワークの損失関数はパラメータに関して多くの鞍点を持つことが示唆されている． 一次勾配のノルムは鞍点付近で小さくなる傾向にあるため，効率的に学習を行うためには鞍点から素早く抜け出す必要がある． 既存手法の一つとして，一次勾配にある分散を持ったノイズを加えて確率的にパラメータを探索することで，鞍点を抜け出す手法がある． しかし，既存手法では入力の変動によって加わるノイズの分散が考慮されておらず，パラメータ探索を過剰に行ってしまう可能性がある． そこで本稿では，一次勾配をスケーリングすることで，入力の変動によって加わるノイズの分散を一定値に抑え，探索の積極性を制御する手法を提案する． |
| （英） | ||
| キーワード | （和） | ディープニューラルネットワーク / 確率的勾配降下法 / / / / / / |
| （英） | / / / / / / / | |
| 文献情報 | 信学技報, vol. 116, no. 209, IBISML2016-19, pp. 93-94, 2016年9月. | |
| 資料番号 | IBISML2016-19 | |
| 発行日 | 2016-08-29 (PRMU, IBISML) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | PRMU2016-64 IBISML2016-19 |
|
| 研究会情報 | |
| 研究会 | PRMU IPSJ-CVIM IBISML |
| 開催期間 | 2016-09-05 - 2016-09-06 |
| 開催地（和） | 富山大学 |
| 開催地（英） | |
| テーマ（和） | パターン認識・機械学習基盤技術及び一人称視点・注視情報と行動理解 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2016-09-PRMU-CVIM-IBISML |
| 本文の言語 | 日本語（英語タイトルなし） |
| タイトル（和） | ディープニューラルネットワークのための勾配上のノイズを考慮した効率的な確率的勾配降下法 |
| サブタイトル（和） | |
| タイトル（英） | |
| サブタイトル（英） | |
| キーワード(1)（和/英） | ディープニューラルネットワーク / |
| キーワード(2)（和/英） | 確率的勾配降下法 / |
| キーワード(3)（和/英） | / |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 井田 安俊 / / イダ ヤストシ |
| 第1著者 所属（和/英） | 日本電信電話株式会社 (略称： NTT) (略称： ) |
| 第2著者 氏名（和/英/ヨミ） | 藤原 靖宏 / / フジワラ ヤスヒロ |
| 第2著者 所属（和/英） | 日本電信電話株式会社 (略称： NTT) (略称： ) |
| 第3著者 氏名（和/英/ヨミ） | 岩村 相哲 / / イワムラ ソウテツ |
| 第3著者 所属（和/英） | 日本電信電話株式会社 (略称： NTT) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2016-09-05 13:30:00 |
| 発表時間 | 15分 |
| 申込先研究会 | IBISML |
| 資料番号 | PRMU2016-64, IBISML2016-19 |
| 巻番号（vol） | vol.116 |
| 号番号（no） | no.208(PRMU), no.209(IBISML) |
| ページ範囲 | pp.93-94 |
| ページ数 | 2 |
| 発行日 | 2016-08-29 (PRMU, IBISML) |
[研究会発表申込システムのトップページに戻る]