本稿では，Twitterと映像を用いたmultimodal variational autoencoder（MVAE）に基づく野球映像の重要シーン予測手法を提案する．野球映像の視聴者によりTwitterに投稿されるツイートには，試合の内容や視聴者の意見に関する多くの情報が含まれる．そこで，提案手法では，ツイートから得られるテキストに関する特徴量および映像から得られる画像や音声に関する特徴量の関係性を考慮可能であるMVAEに基づき，高精度に重要シーンを予測する手法を構築する．提案手法は，これらの特徴量から算出された潜在特徴からシーンが重要である確率を予測するImportant Scene Predictorを新たに導入する．本稿の最後では，実際の野球映像とツイートを用いた実験によって提案手法の有効性を検証する．
（英）
This paper presents a prediction method of important scenes in baseball videos based on multimodal variational autoencoder (MVAE). Tweets posted on Twitter by viewers while viewing baseball games include the content of the games and the opinions of the viewers. Then we construct a method for high-quality prediction of important scenes based on MVAE which can consider the relationships between textual, visual and audio features extracted tweets and videos. The proposed method newly introduces the important scene predictor which predicts the probability of the scene being important from the latent features calculated from these features. Finally, this paper shows the effectiveness of the proposed method through experiments using actual baseball videos and tweets.