| 講演抄録／キーワード |
| 講演名 |
2006-07-14 13:00
一般ボルツマンマシンにおける平均場近似自由エネルギーの漸近的挙動
○西山 悠・渡辺澄夫（東工大） |
| 抄録 |
（和） |
人工神経回路網，混合分布，ベイジアンネット等の特異モデルの学習に，ベイズ学習の有効性が示されている．計算困難なベイズ学習に対し，平均場近似を利用したアルゴリズムが用いられ，実問題への有効性が確認されている．近年，平均場近似学習について，汎化誤差，自由エネルギーの理論的な研究がされている．理論的な研究によって，平均場近似のベイズ学習に対する近似精度が明らかとなり，モデル選択への応用の基礎にもつながる．本論文では，一般のボルツマンマシンを考え，特異モデルにおいて一般に縮退するフィッシャー情報行列に対し，零でない固有値の個数を数えることにより，平均場近似学習における自由エネルギーについて，漸近形の上界を理論的に導出する． |
| （英） |
In the Bayesian learning, which generally requires huge computational costs, the algorithms based on the mean field approximation have shown us the effectiveness in the practical information systems. Recently, the generalization error or free energy in the mean field approximation has been theoretically studied. The theoretical results enable us to know the accuracy of the approximation and contribute to the foundation of a model selection in statistical singular machines. In this paper, we show that the upper bounds of the asymptotic free energies are theoretically obtained by counting the number of non-0 eigenvalues of Fisher information matrices and derive the upper bound in the learning model of general Boltzmann machines. |
| キーワード |
（和） |
特異モデル / 自由エネルギー / 平均場近似 / ボルツマンマシン / / / / |
| （英） |
Singular Learning Machines / Free Energy / Mean Field Approximation / Boltzmann Machines / / / / |
| 文献情報 |
信学技報, vol. 106, no. 163, NC2006-38, pp. 1-6, 2006年7月. |
| 資料番号 |
NC2006-38 |
| 発行日 |
2006-07-07 (NC) |
| ISSN |
Print edition: ISSN 0913-5685 |
| PDFダウンロード |
|