講演抄録/キーワード |
講演名 |
2010-03-12 15:45
指示語に対応する指示対象抽出による遠隔パソコン要約筆記者支援の提案 ○太田 創・竹内義則・松本哲也・工藤博章・大西 昇(名大) WIT2009-89 |
抄録 |
(和) |
聴覚障害者のための情報保障の1つに遠隔パソコン要約筆記がある.これは,講師音声と講義映像を遠隔地にいる要約筆記者に送り,その情報を基に作成した要約筆記文を講義室内の聴覚障害者に提示するものである.しかし,講師が指示語を伴う指示動作を行った時に,要約筆記者がその指示動作を見逃してしまい,指示語に対応する指示対象が分からないという問題が起こりうる.そこで,我々は指示語に対応する指示対象を要約筆記者に提示するシステムの研究開発を行っている.
本研究では,指示棒先端の軌跡に基づいた指示動作及び指示対象の抽出法と,抽出した指示対象を要約筆記者に提示するという支援法を提案する.抽出実験の結果,実際に収録した講義映像に対して,再現率85.7\%,適合率84.8\%という結果を得た.また,支援法の評価では,講義映像のみよりも指示対象と講義映像を見るほうが指示語が適切な内容に言い換えられたケースが多く見られた. |
(英) |
Remote transcription is one of the communication support methods for hearing impaired students. A transcriber watches a lecture captured
by a camera and a microphone at a remote place, and transcribes what an instructor says using a PC. The transcription is then shown on a display screen in the classroom. A transcriber sometimes misses a pointed object when the instructor utters a demonstrative word. In this situation, he/she is not able to assign the demonstrative word with the pointed object. So, we are developing a system to assign the demonstrative word with the pointed object.
In this paper, we propose a method to extract pointing gestures and objects by using the trajectory of the indicated points, and a method to support for a remote caption by showing the transcriber extracted objects. We conducted a experiment using a recorded audio-visual signal in a real lecture. The system can extract objects with the recall of 85.7\% and the precision of 84.8\%. In addition, the result of the evaluation of the support method showed that more demonstrative words were translated to corresponding objects by watching both the lecture and the extracted objects than only the lecture. |
キーワード |
(和) |
要約筆記 / 指示動作抽出 / 指示対象抽出 / / / / / |
(英) |
Remote Captioning / Pointing Gestures Extraction / Pointed Objects Extraction / / / / / |
文献情報 |
信学技報, vol. 109, no. 467, WIT2009-89, pp. 43-48, 2010年3月. |
資料番号 |
WIT2009-89 |
発行日 |
2010-03-05 (WIT) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
WIT2009-89 |