| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2010-12-19 10:55 神経回路網におけるベイズ学習規準DICとWAICの比較 ○渡辺澄夫（東工大）  MBE2010-69 NC2010-80 |
|
| 抄録 | （和） | 階層型神経回路網は、パラメータと確率分布が一対一には対応せず、フィッシャー情報行列が正則でないため、統計的正則モデルの漸近理論を適用することはできないことが知られている。近年、我々は学習モデルが正則でも特異でも、真の分布が学習モデルで実現可能であってもなくても、サンプルの情報だけからベイズ汎化誤差の平均値を推測することができる広く使える情報量規準（WAIC)を導出した。本論文では、ベイズ学習における偏差情報量規準(DIC)とWAICを理論および実験の両面から比較して次のことを明らかにする。学習モデルに対して真の分布が正則であるときにはWAICとDICは等価であり、どちらの平均値も汎化誤差の平均値と一致する。学習モデルに対して真の分布が特異であるときには、WAICとDICは漸近的に一致せず、WAICの平均値は汎化誤差の平均値と一致するが、DICの平均値は汎化誤差の平均値と一致しない。 |
| （英） | Layered neural networks are singular statistical models, because the map taking parameters to probability distributions is not one-to-one and their Fisher information matrices are not positive definite. Recently, we proposed a widely applicable information criterion (WAIC) which enables us to estimate the average of the generalization error even if the true distribution is singular for and unrealizable by a learning machine. In this paper, we compare the widely applicable information criterion with the deviance information criterion (DIC), and show two results theoretically and experimentally. First, if the true distribution is regular for a learning machine, then WAIC and DIC are asymptotically equivalent to each other. Second, if the true distribution is singular for a learning machine, then the average of DIC is not equal to that of the generalization error, whereas the average of WAIC is equal to that of the generalization error. | |
| キーワード | （和） | 代数幾何 / 学習理論 / 特異モデル / DIC / WAIC / / / |
| （英） | algebraic geometry / learning theory / singular model / DIC / WAIC / / / | |
| 文献情報 | 信学技報, vol. 110, no. 355, NC2010-80, pp. 79-84, 2010年12月. | |
| 資料番号 | NC2010-80 | |
| 発行日 | 2010-12-12 (MBE, NC) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | MBE2010-69 NC2010-80 |
|
| 研究会情報 | |
| 研究会 | NC MBE |
| 開催期間 | 2010-12-19 - 2010-12-19 |
| 開催地（和） | 名古屋大学 |
| 開催地（英） | Nagoya Univ. |
| テーマ（和） | 一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2010-12-NC-MBE |
| 本文の言語 | 日本語 |
| タイトル（和） | 神経回路網におけるベイズ学習規準DICとWAICの比較 |
| サブタイトル（和） | |
| タイトル（英） | Comparison of DIC and WAIC in Neural Bayes Learning |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 代数幾何 / algebraic geometry |
| キーワード(2)（和/英） | 学習理論 / learning theory |
| キーワード(3)（和/英） | 特異モデル / singular model |
| キーワード(4)（和/英） | DIC / DIC |
| キーワード(5)（和/英） | WAIC / WAIC |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 渡辺 澄夫 / Sumio Watanabe / ワタナベ スミオ |
| 第1著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Inst. of Tech.) |
| 講演者 | 第1著者 |
| 発表日時 | 2010-12-19 10:55:00 |
| 発表時間 | 25分 |
| 申込先研究会 | NC |
| 資料番号 | MBE2010-69, NC2010-80 |
| 巻番号（vol） | vol.110 |
| 号番号（no） | no.354(MBE), no.355(NC) |
| ページ範囲 | pp.79-84 |
| ページ数 | 6 |
| 発行日 | 2010-12-12 (MBE, NC) |
[研究会発表申込システムのトップページに戻る]