| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2026-07-03 16:40 非線形平滑ニューラルネットワークにおける交差エントロピー損失のへシアン最大固有値に関するウォルコヴィッツ-スティアン上界 ○大前佑斗（日大）・酒井一樹（長岡高専）・柿本陽平・佐々木 真（日大）・坂井佑輔・髙橋弘毅（東京都市大）  NC2026-16 IBISML2026-16 |
|
| 抄録 | （和） | ニューラルネットワーク（NN）においては，学習により到達した損失関数上の極小解が鋭ければ汎化誤差が大きい傾向にあることが知られている．極小解近傍における損失関数はテイラー展開によって近似することが可能であり，その鋭さはへシアンの固有スペクトルにより表現される．通常，へシアンの固有方程式には閉形式解が存在しないことから，損失の鋭さを解析する多くの研究は数値近似法により固有スペクトルを評価している．このことから，鋭さの測定は可能であるものの，鋭さに関与する要因を解析的に分析することはできない．そのため本研究では，Wolkowicz-Styan上界を用いることで，非線形平滑NNの交差エントロピー損失に対するへシアンの最大固有値に対する上界を，閉形式の関数として導出する．この上界を観察することで，損失の鋭さは，アフィン変換パラメータ，隠れ層の次元，および教師データサンプル間の直交性によって特徴づけられることがわかった．本研究の学術的貢献は，隠れ層を持つ非線形平滑NNにおける損失の鋭さを数値解ではなく解析解で表現したことである． |
| （英） | In neural networks (NNs), it is known that sharper local minima of the loss function reached through training tend to be associated with larger generalization error. The loss function in the vicinity of a local minimum can be approximated using a Taylor expansion, and its sharpness can be characterized by the eigenspectrum of the Hessian. Since the eigenvalue problem of the Hessian generally does not admit a closed-form solution, almost all studies analyzing loss sharpness evaluate the eigenvalue spectrum using numerical approximation methods. Consequently, although sharpness can be measured numerically, the factors contributing to sharpness cannot be analyzed analytically. Therefore, by employing the Wolkowicz-Styan bound, we derive a closed-form bound on the maximum eigenvalue of the Hessian for the cross-entropy loss of nonlinear smooth NNs. By examining this bound, we reveal that the sharpness of the loss is characterized by the affine transformation parameters, the dimensionality of the hidden layers, and the orthogonality among training data samples. The contribution is the analytical characterization of loss sharpness in multilayer neural networks. | |
| キーワード | （和） | ニューラルネットワーク / 損失へシアン / 交差エントロピー / 固有スペクトル / / / / |
| （英） | Neural Network / Loss Hessian / Cross-Entropy / Eigenspectrum / / / / | |
| 文献情報 | 信学技報, vol. 126, no. 91, IBISML2026-16, pp. 77-82, 2026年7月. | |
| 資料番号 | IBISML2026-16 | |
| 発行日 | 2026-06-25 (NC, IBISML) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2026-16 IBISML2026-16 |
|
| 研究会情報 | |
| 研究会 | NC IBISML IPSJ-BIO IPSJ-MPS |
| 開催期間 | 2026-07-01 - 2026-07-03 |
| 開催地（和） | 沖縄科学技術大学院大学 |
| 開催地（英） | OIST |
| テーマ（和） | 機械学習、一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2026-07-NC-IBISML-BIO-MPS |
| 本文の言語 | 日本語 |
| タイトル（和） | 非線形平滑ニューラルネットワークにおける交差エントロピー損失のへシアン最大固有値に関するウォルコヴィッツ-スティアン上界 |
| サブタイトル（和） | |
| タイトル（英） | Wolkowicz-Styan Upper Bound on the Hessian Maximum Eigenvalue of the Cross-Entropy Loss in Nonlinear Smooth Neural Networks |
| サブタイトル（英） | |
| キーワード(1)（和/英） | ニューラルネットワーク / Neural Network |
| キーワード(2)（和/英） | 損失へシアン / Loss Hessian |
| キーワード(3)（和/英） | 交差エントロピー / Cross-Entropy |
| キーワード(4)（和/英） | 固有スペクトル / Eigenspectrum |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 大前 佑斗 / Yuto Omae / オオマエ ユウト |
| 第1著者 所属（和/英） | 日本大学 (略称： 日大) Nihon University (略称： NU) |
| 第2著者 氏名（和/英/ヨミ） | 酒井 一樹 / Kazuki Sakai / サカイ カズキ |
| 第2著者 所属（和/英） | 長岡工業高等専門学校 (略称： 長岡高専) National Institute of Technology, Nagaoka College (略称： NIT, Nagaoka College) |
| 第3著者 氏名（和/英/ヨミ） | 柿本 陽平 / Yohei Kakimoto / カキモト ヨウヘイ |
| 第3著者 所属（和/英） | 日本大学 (略称： 日大) Nihon University (略称： NU) |
| 第4著者 氏名（和/英/ヨミ） | 佐々木 真 / Sasaki Makoto / ササキ マコト |
| 第4著者 所属（和/英） | 日本大学 (略称： 日大) Nihon University (略称： NU) |
| 第5著者 氏名（和/英/ヨミ） | 坂井 佑輔 / Yusuke Sakai / サカイ ユウスケ |
| 第5著者 所属（和/英） | 東京都市大学 (略称： 東京都市大) Tokyo City University (略称： TCU) |
| 第6著者 氏名（和/英/ヨミ） | 髙橋 弘毅 / Hirotaka Takahashi / タカハシ ヒロタカ |
| 第6著者 所属（和/英） | 東京都市大学 (略称： 東京都市大) Tokyo City University (略称： TCU) |
| 講演者 | 第1著者 |
| 発表日時 | 2026-07-03 16:40:00 |
| 発表時間 | 25分 |
| 申込先研究会 | IBISML |
| 資料番号 | NC2026-16, IBISML2026-16 |
| 巻番号（vol） | vol.126 |
| 号番号（no） | no.90(NC), no.91(IBISML) |
| ページ範囲 | pp.77-82 |
| ページ数 | 6 |
| 発行日 | 2026-06-25 (NC, IBISML) |
[研究会発表申込システムのトップページに戻る]