| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2012-11-08 15:00 逐次的な重点サンプリングを用いたWAIC計算法 ○三木拓史・渡辺澄夫（東工大）  IBISML2012-70 |
|
| 抄録 | （和） | ベイズ汎化損失は真の分布と予測分布の距離を表し，モデル選択やハイパーパラ メータの設計に使われる，機械学習において重要な量である． パターン認識やデータマイニングで広く使用されている，混合分布モデル，隠れマルコ フモデル，ニューラルネットワークモデルのような階層型の学習モデルはパラメータと確率分布の対応が一 対一ではなく，縮退したフィッシャー情報行列を持つため統計的正則モデルではない． 近年，代数幾何学を用いた解析により非正則モデルに対しても汎化損失の不偏推定量と なる情報量規準，WAICが提案された．しかしながら，予測分布の計算と WAICの計算には事後分布による期待値計算が必要になる．一般に期待値計算には マルコフ連鎖モンテカルロ法が必要となるため，演算量の点での改良が望まれている． 本研究では逐次的重点サンプリング法を用いた予測分布とWAICの計算法を提案し，数 値実験によりその有効性を検討する．実験の結果，汎化誤差の平均値とWAICの平均値が ほぼ一致していることが確認された． |
| （英） | The bayes generalization loss represents the distance of the predictive distribution and the true distribution. It is used in model selection and hyper parameter design, hence an important variable in machine learning. Hierarchical learning models, such as a mixture model, a hidden markov model, a neural network model, are widely used in pattern recognition and data mining. Those learning models are not regular if its Fisher information matrix is singular. In recent years, WAIC, which is the unbiased estimator of the generalization loss even for singular learning model, is proposed. WAIC needs calculation of the expectation value by posterior distribution. In general, Markov chain Monte Carlo method is used to calculate the expectation value. Hence in applications, its computational cost can not be ignored. In this paper, we propose a calculating method for WAIC using the sequential importance sampling. Experimental results show the effectiveness of the proposed method. |
|
| キーワード | （和） | WAIC / 逐次的重点サンプリング / / / / / / |
| （英） | WAIC / Sequential Importance Sampling / / / / / / | |
| 文献情報 | 信学技報, vol. 112, no. 279, IBISML2012-70, pp. 259-263, 2012年11月. | |
| 資料番号 | IBISML2012-70 | |
| 発行日 | 2012-10-31 (IBISML) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IBISML2012-70 |
|
| 研究会情報 | |
| 研究会 | IBISML |
| 開催期間 | 2012-11-07 - 2012-11-09 |
| 開催地（和） | 筑波大学 東京キャンパス文京校舎 |
| 開催地（英） | Bunkyo School Building, Tokyo Campus, Tsukuba Univ. |
| テーマ（和） | 第15回情報論的学習理論ワークショップ |
| テーマ（英） | the 15th Information-Based Induction Sciences Workshop |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2012-11-IBISML |
| 本文の言語 | 日本語 |
| タイトル（和） | 逐次的な重点サンプリングを用いたWAIC計算法 |
| サブタイトル（和） | |
| タイトル（英） | Calculation Method for WAIC Using Sequential Importance Sampling |
| サブタイトル（英） | |
| キーワード(1)（和/英） | WAIC / WAIC |
| キーワード(2)（和/英） | 逐次的重点サンプリング / Sequential Importance Sampling |
| キーワード(3)（和/英） | / |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 三木 拓史 / Takushi Miki / ミキ タクシ |
| 第1著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 第2著者 氏名（和/英/ヨミ） | 渡辺 澄夫 / Sumio Watanabe / ワタナベ スミオ |
| 第2著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 講演者 | 第1著者 |
| 発表日時 | 2012-11-08 15:00:00 |
| 発表時間 | 150分 |
| 申込先研究会 | IBISML |
| 資料番号 | IBISML2012-70 |
| 巻番号（vol） | vol.112 |
| 号番号（no） | no.279 |
| ページ範囲 | pp.259-263 |
| ページ数 | 5 |
| 発行日 | 2012-10-31 (IBISML) |
[研究会発表申込システムのトップページに戻る] (日本語ページの行間係数: 1)