| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2009-07-14 13:00 ノードパータベーション学習の統計力学 ○原 一之（都立産技高専）・片平健太郎（東大/理研/JST-ERATO）・岡ノ谷一夫（理研/JST-ERATO）・岡田真人（東大/理研/JST-ERATO）  NLP2009-38 NC2009-31 |
|
| 抄録 | （和） | ノードパータベーション学習は確率的勾配法の一つであり，目的関数を定式化できない問題にも適用できる利点がある．Werfelらはノードパータベーション学習の理論的な解析を誤差の入力平均の離散時間発展方程式である学習曲線を求めており，これにより入力や出力次元が有限な場合の誤差の解析が可能である． 一方，我々は統計力学的手法により系の巨視的変数の決定論的な方程式を導出し，それらを用いて汎化誤差の解析を行った．その結果，出力数が増加したときに1出力当たりの汎化誤差が大きくなる原因が，他の出力の誤差によるクロストークノイズであることを明らかにした．また，Werfelらの学習曲線を熱力学的極限では我々の導出した汎化誤差と一致することを示した． |
| （英） | Node-perturbation learning is a stochastic gradient method, and it can apply to the problem where the objective function is not defined. Werfel gave the theoretical analysis of node-perturbation as a desecrate time learning curve obtained by averaging the error for possible inputs. On the other hand, we derive deterministic equations of the order parameters, which depict behavior of node-perturbation learning by using statistical mechanics method, and treated the generalization error as a function of the order parameters. From our analysis, we found the generalization error becomes large when number of outputs of the network becomes large through the cross-talk noise of the other outputs. We also found that Werfel's learning curve is identical to the generalization error when the thermodynamic limit is assumed. |
|
| キーワード | （和） | ノードパータベーション学習 / 汎化誤差 / 統計力学的手法 / 線形パーセプトロン / / / / |
| （英） | Node-perturbation learning / Generalization error / Statistical Mechanics methods / linear perceptron / / / / | |
| 文献情報 | 信学技報, vol. 109, no. 125, NC2009-31, pp. 127-132, 2009年7月. | |
| 資料番号 | NC2009-31 | |
| 発行日 | 2009-07-06 (NLP, NC) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NLP2009-38 NC2009-31 |
|
| 研究会情報 | |
| 研究会 | NC NLP |
| 開催期間 | 2009-07-13 - 2009-07-14 |
| 開催地（和） | 奈良先端大 |
| 開催地（英） | NAIST |
| テーマ（和） | 脳活動の計測と解析，生命現象の非線形性，一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2009-07-NC-NLP |
| 本文の言語 | 日本語 |
| タイトル（和） | ノードパータベーション学習の統計力学 |
| サブタイトル（和） | |
| タイトル（英） | Statistical Mechanics of Node-perturbation learning |
| サブタイトル（英） | |
| キーワード(1)（和/英） | ノードパータベーション学習 / Node-perturbation learning |
| キーワード(2)（和/英） | 汎化誤差 / Generalization error |
| キーワード(3)（和/英） | 統計力学的手法 / Statistical Mechanics methods |
| キーワード(4)（和/英） | 線形パーセプトロン / linear perceptron |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 原 一之 / Kazuyuki Hara / ハラ カズユキ |
| 第1著者 所属（和/英） | 東京都立産業技術高等専門学校 (略称： 都立産技高専) Tokyo Metropolitan College of Industrial Engineering (略称： Tokyo Metro. Colle. Ind. Eng.) |
| 第2著者 氏名（和/英/ヨミ） | 片平 健太郎 / Kentaro Katahira / カタヒラ ケンタロウ |
| 第2著者 所属（和/英） | 科学技術振興機構 ERATO (略称： 東大/理研/JST-ERATO) Japa Science Technology Agency, ERATO (略称： ERATO) |
| 第3著者 氏名（和/英/ヨミ） | 岡ノ谷 一夫 / Kazuo Okanoya / オカノヤ カズオ |
| 第3著者 所属（和/英） | 理化学研究所 (略称： 理研/JST-ERATO) RIKEN (略称： RIKEN) |
| 第4著者 氏名（和/英/ヨミ） | 岡田 真人 / Masato Okada / |
| 第4著者 所属（和/英） | 東京大学 (略称： 東大/理研/JST-ERATO) The University of Tokyo (略称： Tokyo Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2009-07-14 13:00:00 |
| 発表時間 | 30分 |
| 申込先研究会 | NC |
| 資料番号 | NLP2009-38, NC2009-31 |
| 巻番号（vol） | vol.109 |
| 号番号（no） | no.124(NLP), no.125(NC) |
| ページ範囲 | pp.127-132 |
| ページ数 | 6 |
| 発行日 | 2009-07-06 (NLP, NC) |
[研究会発表申込システムのトップページに戻る]