| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-01-29 12:45 ニューラルネットワークの重み更新への次元ごとのヒステリシス導入の試み ○永井秀利（九工大）  NLP2025-103 MBE2025-43 NC2025-65 |
|
| 抄録 | （和） | ニューラルネットワークの学習では勾配に基づいた重み更新がなされるが，勾配の大きさと局所最適解までの距離とは必ずしも比例しない．そのため，個々の次元において，更新量の符号反転が生じたならば学習率を下げたかのように反映する更新量を小さくして，通過したであろう極小点に寄せやすくすることを試み，また，同一符号の更新が続けば極小点までは距離があると解釈して，ステップごとに学習率が上昇したかのように反映する更新量を大きくしていくというような調整を行えば，局所最小値への収束を早める効果を期待できる． しかしながら，同様の操作であっても，符号反転時の更新量抑制の程度を非常に強く設定し，同一符号継続時の更新量拡大の程度を小さく設定した場合には，その次元における学習を抑制する効果を与えることもできるだろう． そこで本稿では，個々の次元に対して学習の加速にも減速にも働きうるヒステリシスを重み更新に付加する機構を提案する．この機構を組み込んだモデルを作成して学習加速を評価対象とした簡単な実験を行い，その有効性を確認した． |
| （英） | In neural network training, weight updates are typically performed based on gradients; however, the magnitude of a gradient does not necessarily correspond to the distance to the local optimal solution. Consider each dimension independently. When a sign reversal occurs in the update amount, reduce the reflected update amount as if the learning rate had decreased. Futhermore, while updates of the same sign continue, increase the reflected update amount step by step as if the learning rate had increased. Applying this adjustment can be expected to accelerate convergence to a local optimal solution. Nevertheless, even with similar operations, applying strong suppression of the update amount at sign flip and small incremental expansions during same-sign updates to a dimension can instead suppress learning in that dimension. Therefore, in this paper, we propose a mechanism that introduces per-dimension hysteresis into the weight update process. This mechanism can independently accelerate or decelerate learning progress for each dimension. We implemented a model incorporating this mechanism and conducted a simple experiment to evaluate its ability to accelerate learning. The results confirmed the effectiveness of the proposed approach. |
|
| キーワード | （和） | ニューラルネットワーク / 機械学習 / 重み更新 / ヒステリシス / Hysteresis Synapse / 学習速度制御 / / |
| （英） | neural network / machine learning / weight update / hysteresis / Hysteresis Synapse / learning speed control / / | |
| 文献情報 | 信学技報, vol. 125, no. 346, NC2025-65, pp. 80-85, 2026年1月. | |
| 資料番号 | NC2025-65 | |
| 発行日 | 2026-01-21 (NLP, MBE, NC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NLP2025-103 MBE2025-43 NC2025-65 |
|
| 研究会情報 | |
| 研究会 | NC MBE NLP IEE-MBE |
| 開催期間 | 2026-01-28 - 2026-01-30 |
| 開催地（和） | 九州工業大学 若松キャンパス |
| 開催地（英） | Kyushu Institute of Technology, Wakamatsu Campus |
| テーマ（和） | NC, NLP, ME，一般 |
| テーマ（英） | NC, NLP, ME, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2026-01-NC-MBE-NLP-MBE |
| 本文の言語 | 日本語 |
| タイトル（和） | ニューラルネットワークの重み更新への次元ごとのヒステリシス導入の試み |
| サブタイトル（和） | |
| タイトル（英） | Introducing Dimension-Wise Hysteresis in Neural Network Weight Updates |
| サブタイトル（英） | |
| キーワード(1)（和/英） | ニューラルネットワーク / neural network |
| キーワード(2)（和/英） | 機械学習 / machine learning |
| キーワード(3)（和/英） | 重み更新 / weight update |
| キーワード(4)（和/英） | ヒステリシス / hysteresis |
| キーワード(5)（和/英） | Hysteresis Synapse / Hysteresis Synapse |
| キーワード(6)（和/英） | 学習速度制御 / learning speed control |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 永井 秀利 / Hidetoshi Nagai / ナガイ ヒデトシ |
| 第1著者 所属（和/英） | 九州工業大学 (略称： 九工大) Kyushu Institute of Technology (略称： KIT) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-01-29 12:45:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NLP2025-103, MBE2025-43, NC2025-65 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | no.344(NLP), no.345(MBE), no.346(NC) |
| ページ範囲 | pp.80-85 |
| ページ数 | 6 |
| 発行日 | 2026-01-21 (NLP, MBE, NC) |
[研究会発表申込システムのトップページに戻る]