| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2009-01-19 13:55 変分ベイズ学習におけるハイパーパラメータの汎化誤差への影響について ○大山慎史・渡辺澄夫（東工大）  NC2008-87 |
|
| 抄録 | （和） | 隠れ変数とパラメータの同時確率分布を平均場近似する学習方法を変分ベイズ学習法という。混合正規分布のように指数型分布族の混合によって定義される学習モデルにおいては、平均場近似は繰り返し代入手続きに帰着し、高速な学習アルゴリズムを与える。変分ベイズ学習は、ハイパーパラメータの変化に関して相転移構造を持つことが明らかにされているが、相転移が汎化誤差に与える影響については未だに解明されていない。この論文では、混合比に関するハイパーパラメータの汎化誤差への影響を考察し、以下のことを実験的に明らかにする。(1) 汎化誤差の挙動は相転移点の前後において変化する。(2) 通常点における汎化誤差は、真の分布が学習モデルに含まれているかどうかに依存して比較的大きく変動するが、相転移点上では汎化誤差の値の変動は比較的小さい。 |
| （英） | In variational Bayes learning, the probability distribution of the hidden variable and parameter is made by the mean field approximation. In a mixture of exponential probability distributions such a normal mixture, the mean field approximation is applied to wide practical problems because it provides the fast recursive learning algorithm. It was theoretically clarified the phase transition structure of variational Bayes learning for hyperparameter. In this paper, we study the generalization errors of variational Bayes learning and experimentally show the following facts. (1) The behavior of the generalization error changes between the phase transition point. (2) At an ordinary point, the generalization error strongly depends on the condition that the true distribution is contained in the statistical model or not, whereas, at the critical point, the generalization error is not so depend on the condition. | |
| キーワード | （和） | 特異モデル / 変分ベイズ法 / 汎化誤差 / ハイパーパラメータ / / / / |
| （英） | Singular learning machines / variational Bayes generalization error / Gibbs generalization error / hyperparameter / / / / | |
| 文献情報 | 信学技報, vol. 108, no. 383, NC2008-87, pp. 31-36, 2009年1月. | |
| 資料番号 | NC2008-87 | |
| 発行日 | 2009-01-12 (NC) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2008-87 |
|
| 研究会情報 | |
| 研究会 | NC |
| 開催期間 | 2009-01-19 - 2009-01-20 |
| 開催地（和） | 北海道大学 |
| 開催地（英） | Hokkaido Univ. |
| テーマ（和） | 神経ダイナミクス，一般 |
| テーマ（英） | Neural Dynamics, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2009-01-NC |
| 本文の言語 | 日本語 |
| タイトル（和） | 変分ベイズ学習におけるハイパーパラメータの汎化誤差への影響について |
| サブタイトル（和） | |
| タイトル（英） | On the Effect of Hyperparameter to Generalization Error in Variational Bayes Learning |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 特異モデル / Singular learning machines |
| キーワード(2)（和/英） | 変分ベイズ法 / variational Bayes generalization error |
| キーワード(3)（和/英） | 汎化誤差 / Gibbs generalization error |
| キーワード(4)（和/英） | ハイパーパラメータ / hyperparameter |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 大山 慎史 / Shinji Oyama / オオヤマ シンジ |
| 第1著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Inst. of Tech.) |
| 第2著者 氏名（和/英/ヨミ） | 渡辺 澄夫 / Sumio Watanabe / ワタナベ スミオ |
| 第2著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Inst. of Tech.) |
| 第3著者 氏名（和/英/ヨミ） | / / |
| 第3著者 所属（和/英） | (略称： ) (略称： ) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2009-01-19 13:55:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | NC2008-87 |
| 巻番号（vol） | vol.108 |
| 号番号（no） | no.383 |
| ページ範囲 | pp.31-36 |
| ページ数 | 6 |
| 発行日 | 2009-01-12 (NC) |
[研究会発表申込システムのトップページに戻る]