| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2019-06-18 13:55 古典的なニューラルネットワークの問題点と加算型及び結合型ショートカットによる改善 ○古庄泰隆・池田和司（奈良先端大）  NC2019-17 IBISML2019-15 |
|
| 抄録 | （和） | 多層パーセプトロン(MLP)などの古典的なニューラルネットワークは層を積み上げ過ぎると訓練誤差ですら悪化する問題がある.この問題を解決するために加算型ショートカットを持つResNetや結合型ショートカットを持つDenseNetが提案された.これらのショートカットは膨大な数の層を持つニューラルネットワークの学習を可能にする.しかしながらその理由や各ショートカットの違いが性能に及ぼす影響は明らかでない.DNNの性能は最後の隠れ層の特徴ベクトルのクラス間距離とクラス内距離の比率が大きいほど高くなる.そこで本研究では重みがランダムなMLP,ResNet,DenseNetの層を経る毎の上記の距離の変化について解析し次の結果を示した.MLPは特にクラス間距離を減少し距離の比率を悪化させてしまう問題点がある.一方で二つのショートカットはこの問題点を緩和し距離の比率を改善する.層の数が多い場合は特に結合型ショートカットが有効である.またMLPは特徴ベクトル間の角度が層の数に対して指数的に減少するが,加算型ショートカットを加えることで劣指数的な減少へ抑えられ,結合型ショートカットを加えることで逆数的な減少へと抑えられる.これに加えて我々は学習による距離の変化についても解析し,初期化時点で入力ベクトル間の角度を高い層でも保持する性質が学習後のDNNでの距離の比率を向上することを示した.つまり二つのショートカットは学習後のDNNの距離の比率も改善する.数値実験も上記の理論的結果と一致することを確認した. |
| （英） | The classic feedforward neural networks like the multilayer perceptron (MLP) degrades its empirical risk by training even though it stacks more layers. To overcome this problem, the ResNet which has additive skip-connections and the DenseNet which has concatenating skip-connections were proposed. These skip-connections enable an extreme deep neural network (DNN) to be trained with high performance. However, the reasons for these successes and when to prefer the one skip-connection to the other are unclear. A large ratio of the between-class distance to the within-class distance of feature vectors at the last hidden layer induces a high performance. Thus, we analyzed the change of these distances through hidden layers of the randomly initialized MLP, the ResNet, and the DenseNet. Our results show that the MLP strongly decreases the between-class distance compared with the within-class distance and that both skip-connections relax this decrease of the between-class angle and improve the ratio of the distances. In particular, the concatenating skip-connection is more preferable to the additive skip-connection if a DNN is extremely deep. Moreover, the additive skip-connection relax the exponential decrease of the angle into the sub-exponential decrease and the concatenating skip-connection relax this decrease into the reciprocal decrease. We also analyzed the effects of training on the distances and show that the preservation of the angle through layers at initialization encourages trained neural networks to increase the ratio of the distances. Therefore, both skip-connections induce high performance. | |
| キーワード | （和） | ディープニューラルネットワーク / ResNet / DenseNet / ショートカット / / / / |
| （英） | Deep neural network / ResNet / DenseNet / Skip-connection / / / / | |
| 文献情報 | 信学技報, vol. 119, no. 89, IBISML2019-15, pp. 97-102, 2019年6月. | |
| 資料番号 | IBISML2019-15 | |
| 発行日 | 2019-06-10 (NC, IBISML) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2019-17 IBISML2019-15 |
|
| 研究会情報 | |
| 研究会 | NC IBISML IPSJ-MPS IPSJ-BIO |
| 開催期間 | 2019-06-17 - 2019-06-19 |
| 開催地（和） | 沖縄科学技術大学院大学 |
| 開催地（英） | Okinawa Institute of Science and Technology |
| テーマ（和） | NC、機械学習によるバイオデータマイニング、一般 |
| テーマ（英） | Neurocomputing, Machine Learning Approach to Biodata Mining, and General |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2019-06-NC-IBISML-MPS-BIO |
| 本文の言語 | 日本語 |
| タイトル（和） | 古典的なニューラルネットワークの問題点と加算型及び結合型ショートカットによる改善 |
| サブタイトル（和） | |
| タイトル（英） | Additive or Concatenating Skip-connections Overcome the Degradation Problem of the Classic Feedforward Neural Network |
| サブタイトル（英） | |
| キーワード(1)（和/英） | ディープニューラルネットワーク / Deep neural network |
| キーワード(2)（和/英） | ResNet / ResNet |
| キーワード(3)（和/英） | DenseNet / DenseNet |
| キーワード(4)（和/英） | ショートカット / Skip-connection |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 古庄 泰隆 / Yasutaka Furusho / フルショウ ヤスタカ |
| 第1著者 所属（和/英） | 奈良先端科学技術大学院大学 (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 第2著者 氏名（和/英/ヨミ） | 池田 和司 / Kazushi Ikeda / イケダ カズシ |
| 第2著者 所属（和/英） | 奈良先端科学技術大学院大学 (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 第3著者 氏名（和/英/ヨミ） | / / |
| 第3著者 所属（和/英） | (略称： ) (略称： ) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2019-06-18 13:55:00 |
| 発表時間 | 25分 |
| 申込先研究会 | IBISML |
| 資料番号 | NC2019-17, IBISML2019-15 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | no.88(NC), no.89(IBISML) |
| ページ範囲 | pp.75-80(NC), pp.97-102(IBISML) |
| ページ数 | 6 |
| 発行日 | 2019-06-10 (NC, IBISML) |
[研究会発表申込システムのトップページに戻る]