講演抄録/キーワード |
講演名 |
2014-11-17 17:00
[ポスター講演]密度微分推定とKLダイバージェンス近似への応用 ○佐々木博昭(東大)・Yung-Kyun Noh(KAIST)・杉山 将(東大) IBISML2014-52 |
抄録 |
(和) |
本研究では,確率密度関数の微分(以下,密度微分と呼ぶ)を推定する問題を考える.密度微分を推定する上で,単純な方法は,まず,確率密度関数を推定し,その微分を計算することであろう.しかしながら,良い密度推定は,必ずしも良い密度微分推定を与えるとは限らないため,その方法は適切ではない.そこで,本研究では,確率密度関数の推定を行うことなく,直接,密度微分を推定することを試みる.提案手法は,解析解をもつため,効率的に密度微分を推定できだけでなく,多次元データの高次密度微分もまた推定可能である.加えて,提案手法に含まれるハイパーパラメータは,全てクロスバリデーションによって決定できる.本研究において,提案手法をノンパラメトリック KL ダイバージェンス推定へと応用し,その推定精度を改善することを試みる.そして,変化点検知と特徴選択において,提案手法の有効性を数値実験によって示す. |
(英) |
Estimation of density derivatives is a versatile tool in statistical data analysis. A naive approach is to first estimate the density and then compute its derivative. However, such a two-step approach does not work well because a good density estimator does not necessarily mean a good density-derivative estimator. In this paper, we give a direct method to approximate the density derivative without estimating the density itself. Our proposed estimator allows analytic and computationally efficient approximation of multi-dimensional high-order density derivatives, with the ability that all hyper-parameters can be chosen objectively by cross-validation. We further show that the proposed density-derivative estimator is useful in improving the accuracy of non-parametric KL-divergence estimation via metric learning. The practical superiority of the proposed method is experimentally demonstrated in change detection and feature selection. |
キーワード |
(和) |
密度微分推定 / 高次密度微分 / ノンパラメトリック推定 / KL ダイバージェンス / / / / |
(英) |
density-derivative estimation / higher-order density-derivative / non-parametric estimation / Kullback- -Leibler divergence / / / / |
文献情報 |
信学技報, vol. 114, no. 306, IBISML2014-52, pp. 133-140, 2014年11月. |
資料番号 |
IBISML2014-52 |
発行日 |
2014-11-10 (IBISML) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
IBISML2014-52 |