講演抄録/キーワード |
講演名 |
2012-03-12 16:50
ショット内及びショット間の画像・音声特徴に着目したスピーチショット抽出 ○熊谷章吾・道満恵介(名大)・高橋友和(岐阜聖徳学園大)・出口大輔・井手一郎・村瀬 洋(名大) IE2011-147 MVE2011-109 |
抄録 |
(和) |
本報告では,ショット内及びショット間の特徴に基づく被写体と話者の異同判定によるニュース映像からのスピーチショット抽出手法を提案する.
スピーチショットはマルチメディア情報を豊富に含み,資料的価値が高い.
そこで我々はこれまで,被写体の口唇動作と話者の声から得られる複数の音声特徴と画像特徴の相関に基づく被写体と話者の異同判定手法を提案してきた.
この手法は,音声ノイズの少ないショットに対しては高精度な異同判定が可能であるが,多量の音声ノイズを含むショットに対しての異同判定は困難であった.
そこで本報告では,2段階の処理による被写体と話者の異同判定手法を提案する.
まず第1段階で,これまでに提案した手法により異同判定を行う.
その後,第2段階で,ショット内及びその前後のショットとの間に表れる特徴的な画像・音声の性質に基づいて異同判定を行う.
スピーチショット抽出実験の結果,提案手法の有効性を確認した. |
(英) |
We propose a method to extract speech shots from news videos using detecting the inconsisteny between a subject and the speaker focusing on features within and between shots.
Speech shots in news videos contain a wealth of multimedia information, and are valuable as archived material.
To extract speech shots, we have previously proposed a method to detect the inconsistency between a subject and the speaker based on the co-occurrence between a subject's lip motion and the speaker's voice.
This previous method could detect the inconsistency in a shot with little audio noises.
However, it is difficult to detect the inconsistency in a shot with significant amount of audio noises.
In order to deal with this problem, the proposed method detects the inconsisteny between a subject and the speaker in two steps.
The first step detects the inconsistency by our previous method, and the second step detects the inconsistency based on the intra- and inter- shot features.
Experimental results showed the effectiveness of the proposed method. |
キーワード |
(和) |
スピーチショット抽出 / ニュース映像 / 映像検索 / 画像・音声特徴 / / / / |
(英) |
Speech shot extraction / news video / video retrieval / audio-visual features / / / / |
文献情報 |
信学技報, vol. 111, no. 479, MVE2011-109, pp. 81-86, 2012年3月. |
資料番号 |
MVE2011-109 |
発行日 |
2012-03-05 (IE, MVE) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
IE2011-147 MVE2011-109 |
|