| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2011-10-20 13:10 非線形パーセプトロンのためのノードパータベーション学習の統計力学 ○原 一之（日大）・片平健太郎（JST）・岡ノ谷一夫（理研）・岡田真人（東大）  NC2011-63 |
|
| 抄録 | （和） | ノードパータベーション学習は確率的勾配法の一つであり，目的関数を定式化できない問題にも適用でき る利点がある．我々は前回の報告で出力がM 個ある線形パーセプトロンのためのノードパータベーション学習の統計 力学を構築した．その結果，出力数が増加したときに1 出力当たりの汎化誤差が大きくなる原因が，他の出力の誤差 によるクロストークノイズであることを明らかにした．本報告では，非線形パーセプトロンにノードパータベーショ ン学習を適用するための学習則を提案し，その挙動を統計力学的手法により解析した．その結果，非線形パーセプト ロンを用いると出力誤差の信号成分とクロストーク成分が異なり，出力数に対してクロストークの影響が非単調にな ることが分かった．これにより非線形パーセプトロンを用いた場合，出力数が増えたときの汎化誤差の劣化は線形よ り抑えられることがわかった． |
| （英） | Node-perturbation learning is a kind of statistical gradient descent algorithm that can be applied to problems where the objective function is not explicitly formulated, including reinforcement learning. In the previous report, we explored statistical mechanics of node-perturbation learning with M linear perceptrons, and analyzed the generalization. From the results, we clarified that the cross-take noise enlarges the generalization error of the output when there are more outputs. In this report, we propose a novel node-perturbation learning for non-linear perceptron, and analyze the behavior by using statistical mechanics methods. From the results, we found that the signal part and cross-talk part of the output error are different forms when non-linear perceptrons are used, and cross-talk part is non-monotonically increased for number of outputs. Moreover, increase of the generalization error for more outputs is held down using non-linear perceptron compare to that using linear perceptrons. |
|
| キーワード | （和） | 非線形パーセプトロン / ノードパータベーション学習 / オンライン学習 / 汎化誤差 / 統計力学的手法 / / / |
| （英） | Node-perturbation learning / Non-linear perceptron / on-line learning / generalization error / statistical mechanics method / / / | |
| 文献情報 | 信学技報, vol. 111, no. 241, NC2011-63, pp. 107-112, 2011年10月. | |
| 資料番号 | NC2011-63 | |
| 発行日 | 2011-10-12 (NC) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2011-63 |
|
| 研究会情報 | |
| 研究会 | NC |
| 開催期間 | 2011-10-19 - 2011-10-20 |
| 開催地（和） | 九州大学大橋キャンパス |
| 開催地（英） | Ohashi Campus, Kyushu Univ. |
| テーマ（和） | ニューロコンピューティングの実装および人間科学のための解析・モデル化、一般 |
| テーマ（英） | Implementation of neurocomputing, modeling for human science, and general |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2011-10-NC |
| 本文の言語 | 日本語 |
| タイトル（和） | 非線形パーセプトロンのためのノードパータベーション学習の統計力学 |
| サブタイトル（和） | |
| タイトル（英） | Statistical Mechanics of Node-Perturbation Learning for Nonlinear Perceptron |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 非線形パーセプトロン / Node-perturbation learning |
| キーワード(2)（和/英） | ノードパータベーション学習 / Non-linear perceptron |
| キーワード(3)（和/英） | オンライン学習 / on-line learning |
| キーワード(4)（和/英） | 汎化誤差 / generalization error |
| キーワード(5)（和/英） | 統計力学的手法 / statistical mechanics method |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 原 一之 / Kazuyuki Hara / ハラ カズユキ |
| 第1著者 所属（和/英） | 日本大学生産工学部 (略称： 日大) Nihon University (略称： Nihon Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 片平 健太郎 / Kentaro Katahira / カタヒラ ケンタロウ |
| 第2著者 所属（和/英） | 科学技術振興機構 ERATO 岡ノ谷情動情報プロジェクト (略称： JST) Japan Science Technology Agency, ERATO Okanoya Emotional Information Project (略称： JST) |
| 第3著者 氏名（和/英/ヨミ） | 岡ノ谷 一夫 / Kazuo Okanoya / オカノヤ カズオ |
| 第3著者 所属（和/英） | 理化学研究所 (略称： 理研) RIKEN (略称： RIKEN) |
| 第4著者 氏名（和/英/ヨミ） | 岡田 真人 / Masato Okada / |
| 第4著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： Tokyo Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2011-10-20 13:10:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NC2011-63 |
| 巻番号（vol） | vol.111 |
| 号番号（no） | no.241 |
| ページ範囲 | pp.107-112 |
| ページ数 | 6 |
| 発行日 | 2011-10-12 (NC) |
[研究会発表申込システムのトップページに戻る]