| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2016-01-29 16:15 新しいDropout法の提案と動特性の解析 ○斎藤大輔・近藤 佑・原 一之（日大）  NC2015-67 |
|
| 抄録 | （和） | Deep learningはネットワーク規模が大きくかつ多くのユニットから構成されているため，過学習を起こしやすい．そのため，過学習を防ぐいくつかの正則化手法が提案されており，その一つにDropoutがある．Dropoutは，ネットワークの中間ユニットや入力の一部をランダムに選び，それらを無視して学習する方法である．これにより学習時のネットワーク規模が小さくなり，過学習を起こしにくくなる．学習後は無視した中間ユニットと学習したネットワークの和で出力を計算する．この方法はアンサンブル学習と見ることができる．一方，学習を行う際の入力の数やネットワーク規模が問題に対して適切な場合，対称性の破壊という現象が起き，誤差が著しく小さくなる．そこで我々はDropoutの持つ正則化の効果だけではなく，対称性の破壊を起こしやすくし，更にアンサンブル学習の効果も得られる方法を開発した． |
| （英） | Deep learning that use a large network and includes many units tends to occur the overfitting. Therefore, to avoid the overfitting, several regularization methods have been proposed, and one of them is Dropout. Dropout selects some units of the network at random and it drops them in the learning process. Then the network size becomes smaller, and the overfitting can be avoided. When calculating the output, we sum up the dropped units and that of not dropped units. This seems like the ensemble learning. On the other hand, there is a phenomenon called the symmetry breaking that achieves very small residual error. Then, we treated Dropout as the ensemble learning, and explored the Dropout that achieves the symmetry breaking. | |
| キーワード | （和） | Dropout / 正則化 / オンライン学習 / ニューラルネットワーク / / / / |
| （英） | Dropout / regularization / online learning / neural networks / / / / | |
| 文献情報 | 信学技報, vol. 115, no. 426, NC2015-67, pp. 55-60, 2016年1月. | |
| 資料番号 | NC2015-67 | |
| 発行日 | 2016-01-21 (NC) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2015-67 |
|
| 研究会情報 | |
| 研究会 | NC NLP |
| 開催期間 | 2016-01-28 - 2016-01-29 |
| 開催地（和） | 九州工業大学 若松キャンパス |
| 開催地（英） | Kyushu Institute of Technology |
| テーマ（和） | ニューロコンピューティングの実装および人間科学のための解析・モデル化，一般 |
| テーマ（英） | Implementation of Neuro Computing,Analysis and Modeling of Human Science, etc |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2016-01-NC-NLP |
| 本文の言語 | 日本語 |
| タイトル（和） | 新しいDropout法の提案と動特性の解析 |
| サブタイトル（和） | |
| タイトル（英） | Proposal of novel dropout method and its analysis of dynamic property |
| サブタイトル（英） | |
| キーワード(1)（和/英） | Dropout / Dropout |
| キーワード(2)（和/英） | 正則化 / regularization |
| キーワード(3)（和/英） | オンライン学習 / online learning |
| キーワード(4)（和/英） | ニューラルネットワーク / neural networks |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 斎藤 大輔 / Daisuke Saitoh / サイトウ ダイスケ |
| 第1著者 所属（和/英） | 日本大学 (略称： 日大) Nihon University (略称： Nihon Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 近藤 佑 / Tasuku Kondo / コンドウ タスク |
| 第2著者 所属（和/英） | 日本大学 (略称： 日大) Nihon University (略称： Nihon Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 原 一之 / Kazuyuki Hara / ハラ カズユキ |
| 第3著者 所属（和/英） | 日本大学 (略称： 日大) Nihon University (略称： Nihon Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2016-01-29 16:15:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NC2015-67 |
| 巻番号（vol） | vol.115 |
| 号番号（no） | no.426 |
| ページ範囲 | pp.55-60 |
| ページ数 | 6 |
| 発行日 | 2016-01-21 (NC) |
[研究会発表申込システムのトップページに戻る]