| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-06-21 14:20 MLP-MixerにおけるNode Fusionの提案 ○種田祥吾・山内ゆかり（日大）  NC2024-21 IBISML2024-21 |
|
| 抄録 | （和） | Deep Learningのアーキテクチャは与えられた空間的位置と異なる空間的位置に関係する層で構成されている．Ilyaらは位置と空間情報の2種類に関してMLPを適用し，畳み込み処理を使用しないMLP-Mixerを提案した．種田らはMLPの隠れ層において，正則化により結合強度がほぼ０になる重要度の低いノードを，他に付加し融合するNode Fusionを提案した．本研究ではMLP-MixerにおけるMixer Layer内の2種類のMLPに対してL1正則化を導入し，重要度の低くなったノードをNode Fusionで他のノードと融合する．Node Fusionを組み込むことで，計算量の削減しながら精度の維持を目指す． |
| （英） | Deep learning architectures are composed of layers that relate to given spatial positions and different spatial positions. Ilya et al. proposed MLP-Mixer, which applies MLPs to two types of information: positional and spatial, without using convolutional processing. Taneda et al. proposed Node Fusion, which adds and merges less important nodes with near-zero connection strengths due to regularization in the hidden layers of MLPs. In this study, we introduce L1 regularization to the two types of MLPs within the Mixer Layer of the MLP-Mixer and merge the less important nodes with other nodes using Node Fusion. By incorporating Node Fusion, we aim to reduce the computational load while maintaining accuracy. | |
| キーワード | （和） | MLP-Mixer / L1正則化 / Node Fusion / / / / / |
| （英） | MLP-Mixer / L1 Regularization / Node Fusion / / / / / | |
| 文献情報 | 信学技報, vol. 124, no. 85, NC2024-21, pp. 136-139, 2024年6月. | |
| 資料番号 | NC2024-21 | |
| 発行日 | 2024-06-13 (NC, IBISML) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2024-21 IBISML2024-21 |
|
| 研究会情報 | |
| 研究会 | IBISML NC IPSJ-BIO IPSJ-MPS |
| 開催期間 | 2024-06-20 - 2024-06-22 |
| 開催地（和） | 沖縄科学技術大学院大学 |
| 開催地（英） | OIST |
| テーマ（和） | 機械学習・一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2024-06-IBISML-NC-BIO-MPS |
| 本文の言語 | 日本語 |
| タイトル（和） | MLP-MixerにおけるNode Fusionの提案 |
| サブタイトル（和） | |
| タイトル（英） | Proposal of Node Fusion in MLP-Mixer |
| サブタイトル（英） | |
| キーワード(1)（和/英） | MLP-Mixer / MLP-Mixer |
| キーワード(2)（和/英） | L1正則化 / L1 Regularization |
| キーワード(3)（和/英） | Node Fusion / Node Fusion |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 種田 祥吾 / Shogo Taneda / タネダ ショウゴ |
| 第1著者 所属（和/英） | 日本大学大学院 (略称： 日大) Nihon University (略称： NU) |
| 第2著者 氏名（和/英/ヨミ） | 山内 ゆかり / Yukari Yamauchi / ヤマウチ ユカリ |
| 第2著者 所属（和/英） | 日本大学 (略称： 日大) Nihon University (略称： NU) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-06-21 14:20:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NC2024-21, IBISML2024-21 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.85(NC), no.86(IBISML) |
| ページ範囲 | pp.136-139 |
| ページ数 | 4 |
| 発行日 | 2024-06-13 (NC, IBISML) |
[研究会発表申込システムのトップページに戻る]