| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2022-12-03 15:25 Fisher情報行列の固有値分解に基づく勾配法の安定化と高速化 竹内純一・武石啓成・○飯田昌澄（九大）・村田 昇（早大）・三村和史（広島市大）・長岡浩司（電通大）  MBE2022-39 NC2022-61 |
|
| 抄録 | （和） | 2層ニューラルネットの最終層の重みパラメータの勾配法による学習について，学習率を大きくしたまま安定させる手法を提案する．結果として，従来より大幅に高速な学習が可能となる．提案手法は，最近筆者らが発見した Fisher 情報行列の固有値グループ化現象を利用して勾配方向を修正する手法である．提案手法の有効性を数値シミュレーションにより確認した結果について報告する． |
| （英） | We propose a method to stabilize the gradient decent method without decreasing learning rate for two-layer neural networks, which can accelerate learning process as a result. The method is given by modifying the gradient based on the eigenvalue grouping phenomena for the Fisher information matrix, which was discovered by the authors. We report that our method is effective by numerical simulation. | |
| キーワード | （和） | フィッシャー情報行列 / 固有値分解 / 勾配法 / 学習率 / / / / |
| （英） | fisher information matrix / eigenvalu decomposition / gradient decent / learning rate / / / / | |
| 文献情報 | 信学技報, vol. 122, no. 292, NC2022-61, pp. 80-85, 2022年12月. | |
| 資料番号 | NC2022-61 | |
| 発行日 | 2022-11-26 (MBE, NC) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | MBE2022-39 NC2022-61 |
|
| 研究会情報 | |
| 研究会 | MBE NC |
| 開催期間 | 2022-12-03 - 2022-12-03 |
| 開催地（和） | 大阪電気通信大学 寝屋川キャンパス |
| 開催地（英） | Osaka Electro-Communication University |
| テーマ（和） | NC, ME，一般 |
| テーマ（英） | NC, ME, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2022-12-MBE-NC |
| 本文の言語 | 日本語 |
| タイトル（和） | Fisher情報行列の固有値分解に基づく勾配法の安定化と高速化 |
| サブタイトル（和） | |
| タイトル（英） | Stabilization and Acceleration of Gradient Descent Based on Eigenvalue Decomposition of the Fisher Information Matrix |
| サブタイトル（英） | |
| キーワード(1)（和/英） | フィッシャー情報行列 / fisher information matrix |
| キーワード(2)（和/英） | 固有値分解 / eigenvalu decomposition |
| キーワード(3)（和/英） | 勾配法 / gradient decent |
| キーワード(4)（和/英） | 学習率 / learning rate |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 竹内 純一 / Jun'ichi Takeuchi / タケウチ ジュンイチ |
| 第1著者 所属（和/英） | 九州大学 (略称： 九大) Kyushu University (略称： Kyushu Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 武石 啓成 / Yoshinari Takeishi / タケイシ ヨシナリ |
| 第2著者 所属（和/英） | 九州大学 (略称： 九大) Kyushu University (略称： Kyushu Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 飯田 昌澄 / Masazumi Iida / イイダ マサズミ |
| 第3著者 所属（和/英） | 九州大学 (略称： 九大) Kyushu University (略称： Kyushu Univ.) |
| 第4著者 氏名（和/英/ヨミ） | 村田 昇 / Noboru Murata / ムラタ ノボル |
| 第4著者 所属（和/英） | 早稲田大学 (略称： 早大) Waseda University (略称： Waseda Univ.) |
| 第5著者 氏名（和/英/ヨミ） | 三村 和史 / Kazushi Mimura / ミムラ カズシ |
| 第5著者 所属（和/英） | 広島市立大学 (略称： 広島市大) Hiroshima City University (略称： Hiroshima City Univ.) |
| 第6著者 氏名（和/英/ヨミ） | 長岡 浩司 / Hiroshi Nagaoka / ナガオカ ヒロシ |
| 第6著者 所属（和/英） | 電気通信大学 (略称： 電通大) University of Electro Communication (略称： Univ. of Electro Communication) |
| 講演者 | 第3著者 |
| 発表日時 | 2022-12-03 15:25:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | MBE2022-39, NC2022-61 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | no.291(MBE), no.292(NC) |
| ページ範囲 | pp.80-85 |
| ページ数 | 6 |
| 発行日 | 2022-11-26 (MBE, NC) |
[研究会発表申込システムのトップページに戻る]