| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2025-08-07 15:45 Schedule-Free ADINA：学習率調整不要な時空間2次ダイナミクス慣性付適応的勾配アルゴリズム ○野村太暉・山富 龍・マハブービ シェヘラザード・二宮 洋（湘南工科大）  NLP2025-30 |
|
| 抄録 | （和） | 近年，ニューラルネットワーク(NN)の学習アルゴリズムとしての手法であるニュートン法を常微分方程式で表し慣性項とAdamを導入することで，学習の高速化とロバスト性の向上を実現したADINAが提案された．しかし，ADINAはバッチサイズが小さくなると学習が安定しなくなるという問題がある．一方，各反復におけるNNのパラメータの反復平均を利用することで，学習率を調整せず更新量を減衰させるSchedule-Free手法がある．本研究では，ADINAにSchedule-Free手法を導入することで，ADINAのミニバッチ学習におけるロバスト性向上を試みた新たな最適化手法を提案する．提案手法の有効性をNNを用いた数値実験により示す． |
| （英） | Recently, a novel optimization algorithm named ADINA has been proposed. It integrates an inertial term and the Adam optimizer into an Ordinary Differential Equations (ODEs)-based framework derived from the Newton method, aiming to achieve fast convergence and enhanced robustness. However, due to its complex update mechanism, ADINA is sensitive to the noise inherent in stochastic gradients during mini-batch learning, which often leads to instability during training. In contrast, the Schedule-Free framework utilizes iterate averaging as a core mechanism to suppress stochastic noise and stabilize the learning process by eliminating the necessity for learning rate schedules. In this study, we propose a novel optimization algorithm, Schedule-Free ADINA, which incorporates the stabilizing mechanism of Schedule-Free framework into the ADINA. This integration is designed to alleviate the challenges associated with learning rate tuning in ADINA and overall performance, particularly in small mini-batch conditions. The effectiveness of the proposed method is demonstrated through benchmark experiments using neural networks. | |
| キーワード | （和） | ニューラルネットワーク / 最適化手法 / 微分方程式 / 反復平均化 / 適応的学習 / 慣性項 / / |
| （英） | Neural Networks / Optimization Method / ODE systems / Iterate Averaging Method / Adaptive Learning / Momentum Term / / | |
| 文献情報 | 信学技報, vol. 125, no. 150, NLP2025-30, pp. 31-36, 2025年8月. | |
| 資料番号 | NLP2025-30 | |
| 発行日 | 2025-07-31 (NLP) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NLP2025-30 |
|
| 研究会情報 | |
| 研究会 | NLP |
| 開催期間 | 2025-08-07 - 2025-08-07 |
| 開催地（和） | かでる27（札幌） |
| 開催地（英） | Kaderu27(Sapporo) |
| テーマ（和） | NLP，一般 |
| テーマ（英） | Nonlinear problems, etc |
| 講演論文情報の詳細 | |
| 申込み研究会 | NLP |
| 会議コード | 2025-08-NLP |
| 本文の言語 | 日本語 |
| タイトル（和） | Schedule-Free ADINA：学習率調整不要な時空間2次ダイナミクス慣性付適応的勾配アルゴリズム |
| サブタイトル（和） | |
| タイトル（英） | Schedule-Free ADINA: Learning Rate Schedule-Free Spatiotemporal Second-Order Dynamics Inertial Adaptive Gradient Algorithm |
| サブタイトル（英） | |
| キーワード(1)（和/英） | ニューラルネットワーク / Neural Networks |
| キーワード(2)（和/英） | 最適化手法 / Optimization Method |
| キーワード(3)（和/英） | 微分方程式 / ODE systems |
| キーワード(4)（和/英） | 反復平均化 / Iterate Averaging Method |
| キーワード(5)（和/英） | 適応的学習 / Adaptive Learning |
| キーワード(6)（和/英） | 慣性項 / Momentum Term |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 野村 太暉 / Taiki Nomura / ノムラ タイキ |
| 第1著者 所属（和/英） | 湘南工科大学 (略称： 湘南工科大) Shonan Institute of Technology (略称： SIT) |
| 第2著者 氏名（和/英/ヨミ） | 山富 龍 / Ryo Yamatomi / ヤマトミ リョウ |
| 第2著者 所属（和/英） | 湘南工科大学 (略称： 湘南工科大) Shonan Institute of Technology (略称： SIT) |
| 第3著者 氏名（和/英/ヨミ） | マハブービ シェヘラザード / Shahrzad Mahboubi / マハブービ シェヘラザード |
| 第3著者 所属（和/英） | 湘南工科大学 (略称： 湘南工科大) Shonan Institute of Technology (略称： SIT) |
| 第4著者 氏名（和/英/ヨミ） | 二宮 洋 / Hiroshi Ninomiya / ニノミヤ ヒロシ |
| 第4著者 所属（和/英） | 湘南工科大学 (略称： 湘南工科大) Shonan Institute of Technology (略称： SIT) |
| 講演者 | 第1著者 |
| 発表日時 | 2025-08-07 15:45:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NLP |
| 資料番号 | NLP2025-30 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.150 |
| ページ範囲 | pp.31-36 |
| ページ数 | 6 |
| 発行日 | 2025-07-31 (NLP) |
[研究会発表申込システムのトップページに戻る]