| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2013-07-19 14:30 2個の独立なノイズを用いたノードパータベーション学習の統計力学 ○原 一之（日大）・片平健太郎・岡田真人（東大）  NC2013-17 |
|
| 抄録 | （和） | ノードパータベーション学習は確率的勾配法の一つである。ノードパータベーション学習では，ネットワー ク出力にノイズを加えないときとノイズを加えたときの評価の変化から勾配を推定する。しかし，ノイズを加えないときの評価を用いるため，現実のシステムへの適応が難しい．長らは2 個の独立なノイズが与えられる場合のノードパータベーション学習を提案しており，１個のノイズを用いた方法より現実的である．本報告では長らが提案した，2 個の独立なノイズを用いたノードパータベーション学習の統計力学を構築し，学習の挙動を詳しく解析した．その結果，2 個のノイズを用いた場合，誤差の緩和時間が遅くなるが，残留誤差が小さくなることがわかった． |
| （英） | Node perturbation learning is a stochastic gradient descent method for neural networks. It estimates the gradient by comparing an evaluation of the perturbed output and the unperturbed output performance, which we call the baseline. However, the unperturbed performance is a difficult setting. Cho et al. proposed node-perturbation using two independent noises, and it is tractable for real problem. In this report, we analyze the node-perturbation learning using two independent noises by using statistical mechanics methods. From the results, we find that the residual error becomes small compared to the original one when the variance of two noises is the same. |
|
| キーワード | （和） | ノードパータベーション学習 / ２個の独立なノイズ / オンライン学習 / 汎化誤差 / 統計力学的手法 / / / |
| （英） | node-perturbation learning / two independent noises / on-line learning / generalization error / statistical mechanics method / / / | |
| 文献情報 | 信学技報, vol. 113, no. 148, NC2013-17, pp. 13-18, 2013年7月. | |
| 資料番号 | NC2013-17 | |
| 発行日 | 2013-07-12 (NC) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2013-17 |
|
| 研究会情報 | |
| 研究会 | NC MBE |
| 開催期間 | 2013-07-19 - 2013-07-20 |
| 開催地（和） | 徳島大学 |
| 開催地（英） | The University of Tokushima |
| テーマ（和） | ME，一般 |
| テーマ（英） | ME, general |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2013-07-NC-MBE |
| 本文の言語 | 日本語 |
| タイトル（和） | 2個の独立なノイズを用いたノードパータベーション学習の統計力学 |
| サブタイトル（和） | |
| タイトル（英） | Statistical Mechanics of node-perturbation Learning using two independent noises |
| サブタイトル（英） | |
| キーワード(1)（和/英） | ノードパータベーション学習 / node-perturbation learning |
| キーワード(2)（和/英） | ２個の独立なノイズ / two independent noises |
| キーワード(3)（和/英） | オンライン学習 / on-line learning |
| キーワード(4)（和/英） | 汎化誤差 / generalization error |
| キーワード(5)（和/英） | 統計力学的手法 / statistical mechanics method |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 原 一之 / Kazuyuki Hara / ハラ カズユキ |
| 第1著者 所属（和/英） | 日本大学 (略称： 日大) Nihon University (略称： Nihon Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 片平 健太郎 / Kentaro Katahira / カタヒラ ケンタロウ |
| 第2著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： Univ. of Tokyo) |
| 第3著者 氏名（和/英/ヨミ） | 岡田 真人 / Masato Okada / オカダ マサト |
| 第3著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： Univ. of Tokyo) |
| 講演者 | 第1著者 |
| 発表日時 | 2013-07-19 14:30:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NC2013-17 |
| 巻番号（vol） | vol.113 |
| 号番号（no） | no.148 |
| ページ範囲 | pp.13-18 |
| ページ数 | 6 |
| 発行日 | 2013-07-12 (NC) |
[研究会発表申込システムのトップページに戻る]