講演抄録/キーワード |
講演名 |
2010-09-06 09:00
変分ベイズ法におけるクロスヴァリデーションと汎化誤差の分散について ○大山慎史・渡辺澄夫(東工大) PRMU2010-74 IBISML2010-46 |
抄録 |
(和) |
変分ベイズ法はEM法と同等の演算量でベイズ法に近い汎化性能を実現できる学習法であり,機械学習において広く応用されているが,その汎化誤差についてはまだ理論的には解明されていない.一般に統計的学習ではクロスヴァリデーションを用いて汎化誤差の平均値を推定することができるが,汎化誤差とクロスヴァリデーションは確率変数としては同じではない.本論文では混合正規分布における変分ベイズ法を考察し,汎化誤差とクロスヴァリデーションの分散を実験的に解析する.真の分布が学習モデルに対して正則であるときには二つの分散は同じであるが,特異であるときには異なることを示す.さらに,特異である場合には,ハイパーパラメータが相転移点より小さなところで, クロスヴァリデーションの分散が汎化誤差の分散よりも大きな値になることを示す. |
(英) |
Variational Bayes method provides high generalization performance as the Bayes method using a small computational cost as the EM algorithm, therefore, it is widely being used in machine learning. In general, the average of the cross validation is asymptotically equal to that of the generalization error. However, in variational Bayes learning, the relationship between them has not yet been clarified. In this paper, we study variational Bayes method in a Gaussian mixture and experimentally show that the variances of the cross validation and the generalization error depend on the condition of regularity, and that the variance of the cross validation is greater than that of the generalization error, especially when the hyperparameter is smaller than the critical point of the phase transition. |
キーワード |
(和) |
変分ベイズ法 / クロスヴァリデーション / 混合正規分布 / ハイパーパラメータ / / / / |
(英) |
variational Bayes method / cross validation / Gaussian mixture / hyperparameter / / / / |
文献情報 |
信学技報, vol. 110, no. 188, IBISML2010-46, pp. 135-142, 2010年9月. |
資料番号 |
IBISML2010-46 |
発行日 |
2010-08-29 (PRMU, IBISML) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
PRMU2010-74 IBISML2010-46 |
研究会情報 |
研究会 |
IBISML PRMU IPSJ-CVIM |
開催期間 |
2010-09-05 - 2010-09-06 |
開催地(和) |
福岡大学 |
開催地(英) |
Fukuoka Univ. |
テーマ(和) |
コンピュータビジョンとパターン認識のための機械学習と最適化, 一般 |
テーマ(英) |
Machine learning and optimization for computer vision and pattern recognition, etc. |
講演論文情報の詳細 |
申込み研究会 |
IBISML |
会議コード |
2010-09-IBISML-PRMU |
本文の言語 |
日本語 |
タイトル(和) |
変分ベイズ法におけるクロスヴァリデーションと汎化誤差の分散について |
サブタイトル(和) |
|
タイトル(英) |
A Study of Variances of Cross-Validation and Generalization Error in Variational Bayes Method |
サブタイトル(英) |
|
キーワード(1)(和/英) |
変分ベイズ法 / variational Bayes method |
キーワード(2)(和/英) |
クロスヴァリデーション / cross validation |
キーワード(3)(和/英) |
混合正規分布 / Gaussian mixture |
キーワード(4)(和/英) |
ハイパーパラメータ / hyperparameter |
キーワード(5)(和/英) |
/ |
キーワード(6)(和/英) |
/ |
キーワード(7)(和/英) |
/ |
キーワード(8)(和/英) |
/ |
第1著者 氏名(和/英/ヨミ) |
大山 慎史 / Shinji Oyama / オオヤマ シンジ |
第1著者 所属(和/英) |
東京工業大学 (略称: 東工大)
Tokyo Institute of Technology (略称: Tokyo Tech.) |
第2著者 氏名(和/英/ヨミ) |
渡辺 澄夫 / Sumio Watanabe / ワタナベ スミオ |
第2著者 所属(和/英) |
東京工業大学 (略称: 東工大)
Tokyo Institute of Technology (略称: Tokyo Tech.) |
第3著者 氏名(和/英/ヨミ) |
/ / |
第3著者 所属(和/英) |
(略称: )
(略称: ) |
第4著者 氏名(和/英/ヨミ) |
/ / |
第4著者 所属(和/英) |
(略称: )
(略称: ) |
第5著者 氏名(和/英/ヨミ) |
/ / |
第5著者 所属(和/英) |
(略称: )
(略称: ) |
第6著者 氏名(和/英/ヨミ) |
/ / |
第6著者 所属(和/英) |
(略称: )
(略称: ) |
第7著者 氏名(和/英/ヨミ) |
/ / |
第7著者 所属(和/英) |
(略称: )
(略称: ) |
第8著者 氏名(和/英/ヨミ) |
/ / |
第8著者 所属(和/英) |
(略称: )
(略称: ) |
第9著者 氏名(和/英/ヨミ) |
/ / |
第9著者 所属(和/英) |
(略称: )
(略称: ) |
第10著者 氏名(和/英/ヨミ) |
/ / |
第10著者 所属(和/英) |
(略称: )
(略称: ) |
第11著者 氏名(和/英/ヨミ) |
/ / |
第11著者 所属(和/英) |
(略称: )
(略称: ) |
第12著者 氏名(和/英/ヨミ) |
/ / |
第12著者 所属(和/英) |
(略称: )
(略称: ) |
第13著者 氏名(和/英/ヨミ) |
/ / |
第13著者 所属(和/英) |
(略称: )
(略称: ) |
第14著者 氏名(和/英/ヨミ) |
/ / |
第14著者 所属(和/英) |
(略称: )
(略称: ) |
第15著者 氏名(和/英/ヨミ) |
/ / |
第15著者 所属(和/英) |
(略称: )
(略称: ) |
第16著者 氏名(和/英/ヨミ) |
/ / |
第16著者 所属(和/英) |
(略称: )
(略称: ) |
第17著者 氏名(和/英/ヨミ) |
/ / |
第17著者 所属(和/英) |
(略称: )
(略称: ) |
第18著者 氏名(和/英/ヨミ) |
/ / |
第18著者 所属(和/英) |
(略称: )
(略称: ) |
第19著者 氏名(和/英/ヨミ) |
/ / |
第19著者 所属(和/英) |
(略称: )
(略称: ) |
第20著者 氏名(和/英/ヨミ) |
/ / |
第20著者 所属(和/英) |
(略称: )
(略称: ) |
講演者 |
第1著者 |
発表日時 |
2010-09-06 09:00:00 |
発表時間 |
30分 |
申込先研究会 |
IBISML |
資料番号 |
PRMU2010-74, IBISML2010-46 |
巻番号(vol) |
vol.110 |
号番号(no) |
no.187(PRMU), no.188(IBISML) |
ページ範囲 |
pp.135-142 |
ページ数 |
8 |
発行日 |
2010-08-29 (PRMU, IBISML) |
|