| 講演抄録/キーワード |
| 講演名 |
2014-06-21 16:35
LDA法におけるトピック数の決定法およびトピックの評価法について ~ Twitterストリーミングデータを応用例として ~ 藤野 巖・○星野祐子(東海大) DE2014-16 |
| 抄録 |
(和) |
トピックモデルは、数少ない潜在変数により、現象の記録となるデータを生成できる考え方に基づいて提案されたもので、近年膨大で無秩序なテキストデータの分類、要約や情報抽出に利用されている。具体的な実現手法はいくつかあるが、特にドキュメントからトピックを抽出することができるLDA法が主流になっている。LDA法を用いる場合、抽出するトピック数を決定することが必要である。また、自動的に抽出されたトピックは時には難解で、無意味のように見えるため、抽出されたトピックが適切かどうか評価することが必要となる。本研究では、理想的に分類されたトピックの間の相関はゼロであるべきという考え方に基づき、抽出されたトピック間の相関関係からトピック数を決定する手法の提案をする。さらに、トピックの強度や平常分布からの偏移などの特徴に基づいてトピックを評価する手法を提案し、それらの評価結果に基づきトピックを順位づけする手法を示す。本研究で提案された各種手法について、Twitterストリーミングデータを用いて検証実験を行った。本論文は、トピック数の決定やトピックの評価に関する各種提案手法およびその検証実験の結果について報告するものである。 |
| (英) |
Topic model is an emerging approach to summarize data, especially text data, in terms of a small set of latent variables. The most useful implement of topic model is LDA method, which is an unsupervised machine learning technique to identify latent topic information from a massive document collection. However, sometimes the LDA method gives some hard-understanding or meaningless results. In order to improve this problem, in this paper we proposed a method for refining result of LDA and also ranking topics in order of some significant criterion. Our study is based on two assumptions. The first assumption is that the correlation coefficient between any two different topics should be zero under ideal condition. The second assumption is that the quality of topics can be defined as a deviation from usual word distribution. Starting from these two assumptions, we provided a concrete method to determine the number of topics when using LDA method to extract topics from documents data and also to ranking the LDA results in order of quality. As a confirmation of our proposed methods, we conducted some experiments to processing Twitter streaming data. The results of these experiments show that our methods work efficiently as expected. |
| キーワード |
(和) |
トピックモデル / LDA法 / 相関係数 / JSダイバージェンス / Twitter / / / |
| (英) |
Topic model / LDA / Correlation coefficient / JS divergence / Twitter / / / |
| 文献情報 |
信学技報, vol. 114, no. 101, DE2014-16, pp. 67-72, 2014年6月. |
| 資料番号 |
DE2014-16 |
| 発行日 |
2014-06-14 (DE) |
| ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
| PDFダウンロード |
DE2014-16 |