| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-06-30 15:10 隠れ層の幅が異なるモデル間のMode Connectivityの解析 ○高瀬侑亮・下平英寿（京大）  NC2023-20 IBISML2023-20 |
|
| 抄録 | （和） | 同じデータセットとモデルを用いて独立に学習された2つのニューラルネットのウェイトを，損失関数の値を小さく保ったままパラメータ空間で互いに曲線で接続できるというMode Connectivityと呼ばれる性質が実験的に確認されている．既存研究では隠れ層の置換対称性を排除することにより，特にウェイト間を直線で接続するLinear Mode Connectivityも示されているが，モデルの構造やパラメータのサイズが同一であることを前提としていた．そこで本研究では，既存手法を拡張することにより隠れ層のユニット数が異なる場合に対してもLinear Mode Connectivityが成立することを，MNISTデータで学習させた多層パーセプトロンを用いた実験とCIFAR100データで学習させたResNet20を用いた実験で示した． |
| （英） | The property known as mode connectivity, where the weights of two neural networks independently trained using the same dataset and model can be connected with curves in parameter space while keeping the loss small, has been experimentally confirmed. Previous studies have shown linear mode connectivity, which connects weights linearly, by eliminating the permutation symmetry of hidden layers. These studies, however, was premised on identical model structures and parameter sizes. This study extends existing methods and demonstrates that linear mode connectivity can be achieved even when the number of units in the hidden layers of the two models differs. This is shown in experiments using multilayer perceptrons trained on the MNIST dataset and ResNet20 trained on the CIFAR100 dataset. | |
| キーワード | （和） | ニューラルネットワーク / ウェイトマッチング / Mode Connectivity / 置換対称性 / 損失関数可視化 / 不均衡割り当て / / |
| （英） | neural networks / weight matching / mode connectivity / permutation symmetry / loss landscape visualization / unbalanced assignment / / | |
| 文献情報 | 信学技報, vol. 123, no. 91, IBISML2023-20, pp. 129-136, 2023年6月. | |
| 資料番号 | IBISML2023-20 | |
| 発行日 | 2023-06-22 (NC, IBISML) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2023-20 IBISML2023-20 |
|
| 研究会情報 | |
| 研究会 | NC IBISML IPSJ-BIO IPSJ-MPS |
| 開催期間 | 2023-06-29 - 2023-07-01 |
| 開催地（和） | 沖縄科学技術大学院大学カンファレンス・センター |
| 開催地（英） | OIST Conference Center |
| テーマ（和） | 機械学習によるバイオデータマイニング、一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2023-06-NC-IBISML-BIO-MPS |
| 本文の言語 | 日本語 |
| タイトル（和） | 隠れ層の幅が異なるモデル間のMode Connectivityの解析 |
| サブタイトル（和） | |
| タイトル（英） | Analysis of Mode Connectivity Between Models with Different Hidden Layer Widths |
| サブタイトル（英） | |
| キーワード(1)（和/英） | ニューラルネットワーク / neural networks |
| キーワード(2)（和/英） | ウェイトマッチング / weight matching |
| キーワード(3)（和/英） | Mode Connectivity / mode connectivity |
| キーワード(4)（和/英） | 置換対称性 / permutation symmetry |
| キーワード(5)（和/英） | 損失関数可視化 / loss landscape visualization |
| キーワード(6)（和/英） | 不均衡割り当て / unbalanced assignment |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 高瀬 侑亮 / Yusuke Takase / タカセ ユウスケ |
| 第1著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 下平 英寿 / Hidetoshi Shimodaira / シモダイラ ヒデトシ |
| 第2著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-06-30 15:10:00 |
| 発表時間 | 25分 |
| 申込先研究会 | IBISML |
| 資料番号 | NC2023-20, IBISML2023-20 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.90(NC), no.91(IBISML) |
| ページ範囲 | pp.129-136 |
| ページ数 | 8 |
| 発行日 | 2023-06-22 (NC, IBISML) |
[研究会発表申込システムのトップページに戻る]