| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2019-06-18 14:20 ResNetとbatch-normalizationによるデータ分離能力の向上 ○古庄泰隆・池田和司（奈良先端大）  NC2019-18 IBISML2019-16 |
|
| 抄録 | （和） | ResNetのショートカットとbatch-normalization(BN)は膨大な数の層を持つディープニューラルネットワーク(DNN)の学習を可能にする.しかしながらその理由は未だ明らかではない.DNNの性能は最後の隠れ層の特徴ベクトルのクラス間距離とクラス内距離の比率が大きいほど高くなる.そこで本研究では重みがランダムな多層パーセプトロン(MLP), ResNet, BNを適用したResNetの層を経る毎の上記の距離の変化について解析し次の結果を示した.MLPは特にクラス間距離を減少し距離の比率を悪化させてしまう問題点がある.一方でショートカットとBNがこの問題点を緩和し距離の比率を改善する.またMLPは特徴ベクトル間の角度が層の数に対して指数的に減少するが,ショートカットを加えることで劣指数的な減少へ抑えられ,更にBNを加えることで逆数的な減少へと抑えられる. これに加えて我々は学習による距離の変化についても解析し,初期化時点で入力ベクトル間の角度を高い層でも保持する性質が学習後のDNNでの距離の比率を向上することを示した.つまりショートカットとBNは学習後のDNNの距離の比率も改善する.数値実験も上記の理論的結果と一致することを確認した. |
| （英） | The skip-connection and the batch-normalization (BN) in ResNet enable an extreme deep neural network to be trained with high performance. However, the reasons for its high performance are still unclear. A large ratio of the between-class distance to the within-class distance of feature vectors at the last hidden layer induces a high performance. Thus, we analyzed the change of these distances through hidden layers of the randomly initialized multilayer perceptron (MLP), the ResNet, and the ResNet with BN. Our results show that the MLP strongly decreases the between-class distance compared with the within-class distance and that the skip-connection and the BN relax this decrease of the between-class angle and improve the ratio of the distances. Moreover, the skip-connection and the BN relax the exponential decrease of the angle into the reciprocal decrease. We also analyzed the effects of training on the distances and show that the preservation of the angle through layers at initialization encourages trained neural networks to increase the ratio of the distances. Therefore, the skip-connection and the BN in the ResNet induce a high performance. |
|
| キーワード | （和） | ディープニューラルネットワーク / ResNet / ショートカット / Batch-normalization / / / / |
| （英） | Deep neural network / ResNet / Skip-connection / Batch-normalization / / / / | |
| 文献情報 | 信学技報, vol. 119, no. 89, IBISML2019-16, pp. 103-108, 2019年6月. | |
| 資料番号 | IBISML2019-16 | |
| 発行日 | 2019-06-10 (NC, IBISML) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2019-18 IBISML2019-16 |
|
| 研究会情報 | |
| 研究会 | NC IBISML IPSJ-MPS IPSJ-BIO |
| 開催期間 | 2019-06-17 - 2019-06-19 |
| 開催地（和） | 沖縄科学技術大学院大学 |
| 開催地（英） | Okinawa Institute of Science and Technology |
| テーマ（和） | NC、機械学習によるバイオデータマイニング、一般 |
| テーマ（英） | Neurocomputing, Machine Learning Approach to Biodata Mining, and General |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2019-06-NC-IBISML-MPS-BIO |
| 本文の言語 | 日本語 |
| タイトル（和） | ResNetとbatch-normalizationによるデータ分離能力の向上 |
| サブタイトル（和） | |
| タイトル（英） | ResNet and Batch-normalization Improve Data Separation Ability |
| サブタイトル（英） | |
| キーワード(1)（和/英） | ディープニューラルネットワーク / Deep neural network |
| キーワード(2)（和/英） | ResNet / ResNet |
| キーワード(3)（和/英） | ショートカット / Skip-connection |
| キーワード(4)（和/英） | Batch-normalization / Batch-normalization |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 古庄 泰隆 / Yasutaka Furusho / フルショウ ヤスタカ |
| 第1著者 所属（和/英） | 奈良先端科学技術大学院大学 (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 第2著者 氏名（和/英/ヨミ） | 池田 和司 / Kazushi Ikeda / イケダ カズシ |
| 第2著者 所属（和/英） | 奈良先端科学技術大学院大学 (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 第3著者 氏名（和/英/ヨミ） | / / |
| 第3著者 所属（和/英） | (略称： ) (略称： ) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2019-06-18 14:20:00 |
| 発表時間 | 25分 |
| 申込先研究会 | IBISML |
| 資料番号 | NC2019-18, IBISML2019-16 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | no.88(NC), no.89(IBISML) |
| ページ範囲 | pp.81-86(NC), pp.103-108(IBISML) |
| ページ数 | 6 |
| 発行日 | 2019-06-10 (NC, IBISML) |
[研究会発表申込システムのトップページに戻る]