| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-03-25 11:20 Banachの不動点定理に基づいた深層平衡モデルの高速化 ○佐藤尚樹・飯塚秀明（明大）  IBISML2025-50 |
|
| 抄録 | （和） | 深層平衡モデル（DEQ）は，ニューラルネットワークの層の変換の不動点を探索することで，層を積み重ねることなく無限に深いネットワーク表現を実現する．DEQは従来のモデルと比べて大幅に少ないメモリしか必要としないにもかかわらず，多くの大規模な数値実験において最先端のモデルに匹敵する性能を誇る．しかし，入力を受け取るたびに収束の保証のない不動点反復を実行するため，従来のモデルに比べて訓練と推論に膨大な計算時間を要するという課題に直面している．本稿では，不動点収束が保証されるようにモデルアーキテクチャを再構築することで，不動点収束を改善し，結果として計算時間を削減するアプローチを紹介する．我々が提案する画像分類のためのLipschitz MDEQは，ハイパーパラメータの調整によってフォワードパスとバックワードパスの両方で理論的に不動点収束が保証される．CIFAR-10データセットを使った数値実験では，わずかに精度が低下する代わりに最大4.75倍の高速化を達成した． |
| （英） | The Deep Equilibrium Model (DEQ) achieves infinitely deep network representations without stacking layers by exploring fixed points of layer transformations in neural networks. Despite requiring significantly less memory than conventional models, DEQ demonstrates performance comparable to state-of-the-art models in numerous large-scale numerical experiments. However, it faces the challenge of requiring enormous computational time for both training and inference compared to conventional models, as it performs fixed-point iterations with no convergence guarantee each time it receives input. This paper introduces an approach that improves fixed-point convergence and consequently reduces computational time by reconstructing the model architecture to guarantee fixed-point convergence. Our proposed Lipschitz MDEQ for image classification theoretically guarantees fixed-point convergence in both the forward and backward passes through hyperparameter tuning. Numerical experiments on the CIFAR-10 dataset achieved up to 4.75x faster speedup at the cost of a slight accuracy drop. |
|
| キーワード | （和） | 深層平衡モデル / Banachの不動点定理 / 縮小写像 / / / / / |
| （英） | Deep equilibrium models / Banach fixed point theorem / Contractive mapping / / / / / | |
| 文献情報 | 信学技報, vol. 125, no. 425, IBISML2025-50, pp. 67-74, 2026年3月. | |
| 資料番号 | IBISML2025-50 | |
| 発行日 | 2026-03-17 (IBISML) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IBISML2025-50 |
|
| 研究会情報 | |
| 研究会 | PRMU IPSJ-CVIM IBISML ITE-SIP |
| 開催期間 | 2026-03-24 - 2026-03-25 |
| 開催地（和） | あわぎんホール |
| 開催地（英） | |
| テーマ（和） | 人や動物の行動解析、マルチメディア認識技術 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2026-03-PRMU-CVIM-IBISML-SIP |
| 本文の言語 | 日本語 |
| タイトル（和） | Banachの不動点定理に基づいた深層平衡モデルの高速化 |
| サブタイトル（和） | |
| タイトル（英） | Acceleration of deep equilibrium models based on Banach fixed point theorem |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 深層平衡モデル / Deep equilibrium models |
| キーワード(2)（和/英） | Banachの不動点定理 / Banach fixed point theorem |
| キーワード(3)（和/英） | 縮小写像 / Contractive mapping |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 佐藤 尚樹 / Naoki Sato / サトウ ナオキ |
| 第1著者 所属（和/英） | 明治大学 (略称： 明大) Meiji University (略称： Meiji Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 飯塚 秀明 / Hideaki Iiduka / イイヅカ ヒデアキ |
| 第2著者 所属（和/英） | 明治大学 (略称： 明大) Meiji University (略称： Meiji Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-03-25 11:20:00 |
| 発表時間 | 20分 |
| 申込先研究会 | IBISML |
| 資料番号 | IBISML2025-50 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.425 |
| ページ範囲 | pp.67-74 |
| ページ数 | 8 |
| 発行日 | 2026-03-17 (IBISML) |
[研究会発表申込システムのトップページに戻る]