| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2022-01-21 09:25 単純なReLUネットワークにおけるフィッシャー情報行列の近似的な固有値分解 ○武石啓成・飯田昌澄・竹内純一（九大）  IT2021-68 SIP2021-76 RCS2021-236 |
|
| 抄録 | （和） | ReLU活性化関数をもつ隠れ層1層のネットワークのFisher情報行列(FIM)の性質を議論する．入力の次元を$d$，中間層のノード数を$p$，出力の次元を1とし，入力から中間層への重みを行列$W in Re^{dtimes p}$，中間層から出力への重みをベクトル$v$で表し，$v$のFIMを$I$とする．$W$はバイアス項を含まないとし，各成分は，平均0，分散$1/p$の正規分布から独立に生成したとする．$p > d^2$かつ$d$が小さくないとき，次のことが高確率で近似的に成立する． 1)固有値分布に，3つの主要なクラスタがある． 2)$I$はReLUの採用により非負行列となるため，第一固有値はPerron-Frobenius固有値． 3)次に大きいクラスタに対応する固有空間は$W$の行ベクトルを基底とする．． 4)その次に大きい固有値群の固有空間と第1固有値の固有空間の直和は， $W$の行ベクトルの対のアダマール積を基底とする． |
| （英） | We argue the Fisher information matrix (FIM) of one hidden layer networks with the ReLU activation function. Let $W$ denote the $d times p$ weight matrix from the $d$-dimensional input to the inner layer consisting of $p$ neurons, and $v$ the $p$-dimensional weight vector from the inner layer to the scalar output. We focus on the FIM of $v$, which we denote as $I$. Then, under certain conditions, the following approximately holds. 1) There are three major clusters in the eigenvalue distribution. 2) Since $I$ is non-negative owing to the ReLU, the first eigenvalue is the Perron-Frobenius eigenvalue. 3) For the cluster of the next maximum values, the eigenspace is spanned by the row vectors of $W$. 4) For the third cluster of the eigenvalues, the direct sum of the eigenspace of the cluster and the eigenspace of the first eigenvalue is spanned by the set of each Hadamard product of a pair of row vectors of $W$. |
|
| キーワード | （和） | 機械学習 / ニューラルネットワーク / フィッシャー情報量 / / / / / |
| （英） | machine learning / neural networks / Fisher information / / / / / | |
| 文献情報 | 信学技報, vol. 121, no. 327, IT2021-68, pp. 225-230, 2022年1月. | |
| 資料番号 | IT2021-68 | |
| 発行日 | 2022-01-13 (IT, SIP, RCS) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IT2021-68 SIP2021-76 RCS2021-236 |
|
| 研究会情報 | |
| 研究会 | RCS SIP IT |
| 開催期間 | 2022-01-20 - 2022-01-21 |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | 無線通信のための信号処理，学習，数理，情報理論および一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | IT |
| 会議コード | 2022-01-RCS-SIP-IT |
| 本文の言語 | 英語（日本語タイトルあり） |
| タイトル（和） | 単純なReLUネットワークにおけるフィッシャー情報行列の近似的な固有値分解 |
| サブタイトル（和） | |
| タイトル（英） | Approximate Eigenvalue Decomposition of Fisher Information Matrix for Simple ReLU Networks |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 機械学習 / machine learning |
| キーワード(2)（和/英） | ニューラルネットワーク / neural networks |
| キーワード(3)（和/英） | フィッシャー情報量 / Fisher information |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 武石 啓成 / Yoshinari Takeishi / タケイシ ヨシナリ |
| 第1著者 所属（和/英） | 九州大学 (略称： 九大) Kyushu University (略称： Kyushu Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 飯田 昌澄 / Masazumi Iida / イイダ マサズミ |
| 第2著者 所属（和/英） | 九州大学 (略称： 九大) Kyushu University (略称： Kyushu Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 竹内 純一 / Jun'ichi Takeuchi / タケウチ ジュンイチ |
| 第3著者 所属（和/英） | 九州大学 (略称： 九大) Kyushu University (略称： Kyushu Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2022-01-21 09:25:00 |
| 発表時間 | 25分 |
| 申込先研究会 | IT |
| 資料番号 | IT2021-68, SIP2021-76, RCS2021-236 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | no.327(IT), no.328(SIP), no.329(RCS) |
| ページ範囲 | pp.225-230 |
| ページ数 | 6 |
| 発行日 | 2022-01-13 (IT, SIP, RCS) |
[研究会発表申込システムのトップページに戻る]