| 講演抄録/キーワード |
| 講演名 |
2019-03-05 14:00
残差スキップ接続の表現力とネットワークの設計 ○長瀬准平・石渡哲哉(芝浦工大) IBISML2018-106 |
| 抄録 |
(和) |
深層学習の研究課題の一つとしてモデルの設計がある.より良いモデルの提案は活発に行われているが,モデル設計とモデル構造の体系的理論やは未だない.本研究では,スキップ接続と呼ばれる構造を体系的に議論することを目的に,ResNetとDenseNetのスキップ接続を比較する.結果として,全結合層の正則性が両者のモデルの表現力に差異を与えることを理論的に確認し,その解析に基づいたモデルの設計を提案する. |
| (英) |
Model design is one of research topics in deep learning. Proposing a better model has been extensively studied, but there is no systematic theory of model design and model structure yet. In this research, we compare the structures of ResNet and DenseNet with a view to systematically understand the skip connection which is one of the structure of the model. As a result, we confirmed the theoretical fact that the regularity of Fully Connected Layer makes a difference in expressive power of both models and we propose network design based on that analysis. |
| キーワード |
(和) |
深層ニューラルネットワークモデル / スキップ接続 / 表現力 / ネットワーク設計 / ResNet / DenseNet / 深層学習 / |
| (英) |
deep neural networks model / skip connection / expressive power / networks design / ResNet / DenseNet / deep learning / |
| 文献情報 |
信学技報, vol. 118, no. 472, IBISML2018-106, pp. 9-15, 2019年3月. |
| 資料番号 |
IBISML2018-106 |
| 発行日 |
2019-02-26 (IBISML) |
| ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
| PDFダウンロード |
IBISML2018-106 |