| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-03-12 14:45 学習時の重み変化から探るResNetの学習過程 弓削良道・○篠崎隆志（近畿大）  NC2023-59 |
|
| 抄録 | （和） | Residual Network (ResNet)で鍵となる要素であるSkip Connectionが学習のダイナミクスに及ぼす影響を可視化し，その意義を明らかにする．ResNetの高性能を支えるのはその名の通りResidual，残差で，Skip Connectionと呼ばれる分岐構造によって，層による処理を行っていない入力信号を出力信号にそのまま加算して出力している．一般的なニューラルネットワークは，順行伝播信号の特性上，学習する層よりも前のすべての層が学習済みである必要がある．何故ならば途中に一層でも学習されていない層があると，そこまで伝播してきた信号がランダムな重みによってノイズと化してしまうからである．このため通常のニューラルネットワークの学習は入力に一番近い層から順に学習している可能性が高く，結果として数十層を超えるようなネットワークでの学習が困難となっていた．Skip Connectionは学習されていない層をバイパスすることによってこの制限を回避し，超多層での学習を可能とし，深層学習の高性能化の礎を築いた．Skip Connectionは近年画期的な進歩を遂げている大規模言語モデル (Large Language Model, LLM)においても，その基本構造であるTransformerで用いられており，深層学習における最大の発明の一つであるとも言える．一方でSkip Connectionが学習のダイナミクスに及ぼす影響は必ずしも明らかになっておらず，これを明らかにすることは深層学習のメカニズムの真の理解とさらなる性能向上のためにも重要であると考えられる．そこで本研究ではResNetの学習を層ごとに可視化し，Skip Connectionの学習のダイナミクスに及ぼす影響の解明を目指す． |
| （英） | We visualize the impact of skip connections, a key element in residual networks (ResNet), and visualize its impact on the learning dynamics. As its name suggests, the high performance of ResNet is achieved by its residuals, in which input signals are directly added to output signals without processing by the layer, through a branching structure called skip connections. Feedforward neural networks, by their nature, require that all layers prior to the layer to be trained have already been trained. This is because if there is even one untrained layer in the propagation, the propagating signal will be turned into random noise by the random weight. Therefore, deep neural networks are likely to learn from the layer closest to the input, where the training signal is hardest to reach, resulting in difficulty in learning with more than several dozen layers. The skip connection circumvents this limitation by bypassing the untrained layers, allowing learning in extremely many layers, and becoming the fundamental structure of high-performance deep neural networks. The skip connection is also used in Transformer, the basic structure of large-scale language models (LLMs), the fountainhead of recent AI breakthroughs, and is arguably one of the greatest inventions in deep learning. On the other hand, the effects of skip connections on learning dynamics have not been fully investigated, and clarifying their effects would be important for a true understanding of the mechanisms of deep learning and for further performance improvement. Therefore, this study visualized the learning process of ResNet, layer by layer, and identified the effect of skip connections on the learning dynamics. | |
| キーワード | （和） | Skip Connection / ニューラルネットワーク / 深層学習 / ダイナミクス / 可視化 / / / |
| （英） | Skip Connection / Neural Networks / Deep Learning / Dynamics / Visualization / / / | |
| 文献情報 | 信学技報, vol. 123, no. 418, NC2023-59, pp. 94-94, 2024年3月. | |
| 資料番号 | NC2023-59 | |
| 発行日 | 2024-03-04 (NC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2023-59 |
|
| 研究会情報 | |
| 研究会 | NC MBE |
| 開催期間 | 2024-03-11 - 2024-03-12 |
| 開催地（和） | 東京大学 |
| 開催地（英） | The Univ. of Tokyo |
| テーマ（和） | 脳アーキテクチャー, 一般（NC, ME） |
| テーマ（英） | Brain architecture, General |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2024-03-NC-MBE |
| 本文の言語 | 日本語 |
| タイトル（和） | 学習時の重み変化から探るResNetの学習過程 |
| サブタイトル（和） | |
| タイトル（英） | Investigating the Effect of Skip Connection on Learning Dynamics in the Initial Learning Process of Deep Neural Networks |
| サブタイトル（英） | |
| キーワード(1)（和/英） | Skip Connection / Skip Connection |
| キーワード(2)（和/英） | ニューラルネットワーク / Neural Networks |
| キーワード(3)（和/英） | 深層学習 / Deep Learning |
| キーワード(4)（和/英） | ダイナミクス / Dynamics |
| キーワード(5)（和/英） | 可視化 / Visualization |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 弓削 良道 / Ryodo Yuge / ユゲ リョウドウ |
| 第1著者 所属（和/英） | 近畿大学 (略称： 近畿大) Kindai University (略称： Kindai Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 篠崎 隆志 / Takashi Shinozaki / シノザキ タカシ |
| 第2著者 所属（和/英） | 近畿大学 (略称： 近畿大) Kindai University (略称： Kindai Univ.) |
| 講演者 | 第2著者 |
| 発表日時 | 2024-03-12 14:45:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NC2023-59 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.418 |
| ページ範囲 | p.94 |
| ページ数 | 1 |
| 発行日 | 2024-03-04 (NC) |
[研究会発表申込システムのトップページに戻る]