講演抄録/キーワード |
講演名 |
2009-02-20 14:30
遠隔パソコン要約筆記のための指示語と指示動作との統合手法の検討 ○伊藤綾鹿・竹内義則・大西 昇(名大)・飯塚重善(NTT)・中嶌信弥(国士舘大) WIT2008-57 |
抄録 |
(和) |
講義における,聴覚障害者のための情報保障の1つに遠隔パソコン要約筆記がある.これは,講義の音声と映像を遠隔地にいる要約筆記者に送り,その情報を基に作成した要約筆記文を講義室内の聴覚障害者に提示するものである.しかし,講師が指示動作を行いながら指示語を発話した時に,要約筆記者がその指示動作を見ていないと,指示語に対応する指示対象物が分からなくなってしまうという問題が起こりうる.そこで,この問題を解決するために,講師音声から指示語を,講師映像からは指示動作及びその指示対象物を抽出し,指示語と指示対象物を関連付けて要約筆記者に提示するシステムの研究開発を行っている.
本研究では,講師音声からの指示語発話抽出手法として,音声認識を利用した手法を提案し,さらに,指示語抽出結果と指示動作抽出結果の統合手法も提案する.この統合手法は,指示語発話と指示動作の時間の関連性を利用している.そして,実際に収録した講義データに対して,指示語・指示動作抽出処理行い,さらに,統合処理を行った結果,再現率約91%,適合率約71%を得ることができた. |
(英) |
Remote transcription is one of the communication support methods for hearing impaired students in a lecture. A transcriber watches the lecture as captured by camera and microphone at a remote place and transcribes what an instructor says using a PC. The transcription is then shown on a display screen in the classroom. A transcriber sometimes misses a pointing object when the instructor utters a demonstrative word. In this situation, he/she is not able to assign the demonstrative word with the pointing object. To solve this problem, we are developing a system to assign the demonstrative words with the pointing objects, which are automatically extracted from the behavior of the instructor.
In this paper, we propose a method to detect demonstrative words by using speech recognition technology and to integrate the demonstrative words with gestures. We have conducted experiments by using recorded audio-visual signals from a real lecture. Experimental results show that the recall ratio can be achieved about 91% and the relevance ratio, about 71%. |
キーワード |
(和) |
要約筆記 / 指示語発話抽出 / 指示動作抽出 / 統合処理 / / / / |
(英) |
Remote Captioning / Demonstrative Words Extraction / Gestures Extraction / Integration / / / / |
文献情報 |
信学技報, vol. 108, no. 435, WIT2008-57, pp. 5-10, 2009年2月. |
資料番号 |
WIT2008-57 |
発行日 |
2009-02-13 (WIT) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
WIT2008-57 |