| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2011-03-29 10:30 確率的主成分分析における自動次元選択について ○中島伸一（ニコン）・杉山 将（東工大/JST）・デリン ババカン（イリノイ大）  IBISML2010-123 |
|
| 抄録 | （和） | 確率的主成分分析における厳密ベイズ推定は計算困難であるため， 種々の近似法が提案されている． 本稿では 部分ベイズ法（隠れ変数行列のみを積分消去）および変分ベイズ法（隠れ変数行列と結合係数行列との 独立性を仮定して両者を積分消去）について議論する． 変分ベイズ法は，部分ベイズ法に自動次元選択効果を持たせた改良版として提案されたという経緯があるが， 我々はまず，自動次元選択が部分ベイズ法でも現れることを理論的に示す． 両者が本質的に似た振る舞いをするのであれば，解析解が得られる部分ベイズ法の方が， 反復計算による最適化によって局所解を得る 変分ベイズ法よりも実用上優れていると言える． しかし 部分ベイズ法には，経験ベイズ法によるハイパーパラメータ推定がうまく動作しないという欠点がある． そこで次に，制約を強めた（各行列の縦ベクトル間独立性を仮定）簡易変分ベイズ法について検討する． 我々は，この方法において経験ベイズ法が問題なく動作し，オリジナルの変分ベイズ法と非常に似た振る舞いを することを実験により示す． 我々はこれらの結果に基づき，大域解析解が得られる簡易変分ベイズ法が 実用上最も有利な方法であると結論する． |
| （英） | In probabilistic PCA, the fully Bayesian estimation is computationally intractable. To cope with this problem, two types of approximation schemes were introduced: the partially Bayesian PCA (PB-PCA) where only the latent variables are integrated out, and the variational Bayesian PCA (VB-PCA) where the loading vectors are also integrated out. So far, VB-PCA seems to have been preferred to PB-PCA because it is equipped with automatic dimensionality selection (ADS). In this paper, we investigate whether VB-PCA is really the best choice from the viewpoints of computational efficiency and ADS. We first show that ADS is not the unique feature of VB-PCA---PB-PCA is also actually equipped with ADS. We further show that PB-PCA is more advantageous in computational efficiency than VB-PCA because the global solution can be computed analytically in PB-PCA. However, we also show the negative fact that PB-PCA results in a trivial solution in the empirical Bayesian framework. We next consider a simplified variant of VB-PCA, where the latent variables and loading vectors are assumed to be mutually independent. We show that this simplified VB-PCA is the most advantageous in practice because its empirical Bayes solution experimentally works as well as the original VB-PCA, and its global optimal solution can be computed efficiently in a closed form. |
|
| キーワード | （和） | 確率的主成分分析 / 自動次元選択 / 変分ベイズ / 部分ベイズ / 行列分解 / / / |
| （英） | probabilistic PCA / automatic dimensionality selection / variational Bayes / partially Bayesian / matrix factorization / / / | |
| 文献情報 | 信学技報, vol. 110, no. 476, IBISML2010-123, pp. 131-138, 2011年3月. | |
| 資料番号 | IBISML2010-123 | |
| 発行日 | 2011-03-21 (IBISML) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IBISML2010-123 |
|
| 研究会情報 | |
| 研究会 | IBISML |
| 開催期間 | 2011-03-28 - 2011-03-29 |
| 開催地（和） | 阪大中之島センター |
| 開催地（英） | Nakanoshima Center, Osaka Univ. |
| テーマ（和） | テキスト・Ｗｅｂマイニング、一般 |
| テーマ（英） | Text and Web mining, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2011-03-IBISML |
| 本文の言語 | 日本語 |
| タイトル（和） | 確率的主成分分析における自動次元選択について |
| サブタイトル（和） | |
| タイトル（英） | On Automatic Dimensionality Selection in Probabilistic PCA |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 確率的主成分分析 / probabilistic PCA |
| キーワード(2)（和/英） | 自動次元選択 / automatic dimensionality selection |
| キーワード(3)（和/英） | 変分ベイズ / variational Bayes |
| キーワード(4)（和/英） | 部分ベイズ / partially Bayesian |
| キーワード(5)（和/英） | 行列分解 / matrix factorization |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 中島 伸一 / Shinichi Nakajima / ナカジマ シンイチ |
| 第1著者 所属（和/英） | (株)ニコン (略称： ニコン) Nikon Corporation (略称： Nikon) |
| 第2著者 氏名（和/英/ヨミ） | 杉山 将 / Masashi Sugiyama / スギヤマ マサシ |
| 第2著者 所属（和/英） | 東京工業大学/JST PRESTO (略称： 東工大/JST) Tokyo Institute of Technology/JST PRESTO (略称： Tokyo Inst. of Tech./JST) |
| 第3著者 氏名（和/英/ヨミ） | デリン ババカン / Derin Babacan / デリン ババカン |
| 第3著者 所属（和/英） | イリノイ大学 (略称： イリノイ大) University of Illinois (略称： Illinois of.Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2011-03-29 10:30:00 |
| 発表時間 | 20分 |
| 申込先研究会 | IBISML |
| 資料番号 | IBISML2010-123 |
| 巻番号（vol） | vol.110 |
| 号番号（no） | no.476 |
| ページ範囲 | pp.131-138 |
| ページ数 | 8 |
| 発行日 | 2011-03-21 (IBISML) |
[研究会発表申込システムのトップページに戻る]