| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2011-02-18 14:45 リアルタイム字幕作成支援のための数式抽出 ○川口弘哲・竹内義則・松本哲也・工藤博章・大西 昇（名大）  WIT2010-70 |
|
| 抄録 | （和） | 本稿ではリアルタイム字幕提示システムを使用する際に，いくつかの解釈ができる発話数式で発生する字幕入力の困難さを解決する手法を提案する．本研究では発話数式に対応するスライドの数式画像を自動で抽出する手法を用いている．この手法は数式発話時に講師が発話数式に対応するスライドの数式を指示しているという特徴を利用している．音声認識エンジンJulius，日本語話し言葉コーパスモデルから得られた音響モデル・言語モデルを用い，講義資料に含まれる数式要素を辞書登録することで，数式発話抽出を行う．また，映像から取得した指示棒先端の軌跡から，講師の行っている指示動作を抽出する．そして，数式要素抽出結果と指示動作抽出結果を統合することで，発話数式に対応する数式画像を抽出している．実際に収録したデータに対して，音声認識によって数式要素を抽出し，その結果を用いて数式画像抽出処理を行った．その結果，約69{\%}の再現率，約91{\%}の適合率を得た． |
| （英） | In this paper, we propose a method solving the problem of captioning when a instractor utters a mathematical formula with different interpretations, using Real-time Captioning system. In our study, we adopt a approach to extract a image corresponding uttered mathematical formula from lecture slides. This method uses a fact that a instractor usually points a mathematical formula on the slide when he/she utters it. We use speech recognition decoder software "Julius" with acoustic model and language model generated Corpus of Spontaneous Japanese, we register mathematical formula components in the lecture into the dictionary in Julius. Then, we extract pointing gestures from the tracks of stick tip from the images of the lecture. We integrate the result of mathmatical formula component extraction with that of pointing gesture extraction, and extract mathematical formula images correspoding to utttered mathematical formula. We have conducted experiments by using recorded audio-visual signals from a real lecture. Experimental result shows that recall ratio is about 69{\%} and relevance ratio is about 91{\%}. |
|
| キーワード | （和） | リアルタイム字幕 / 数式抽出 / 指示動作 / / / / / |
| （英） | Real-time Captioning / Mathematical Formulas Extraction / Pointing Gesture / / / / / | |
| 文献情報 | 信学技報, vol. 110, no. 418, WIT2010-70, pp. 19-24, 2011年2月. | |
| 資料番号 | WIT2010-70 | |
| 発行日 | 2011-02-11 (WIT) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | WIT2010-70 |
|
| 研究会情報 | |
| 研究会 | WIT |
| 開催期間 | 2011-02-18 - 2011-02-19 |
| 開催地（和） | 愛媛大学 |
| 開催地（英） | Ehime Univ. |
| テーマ（和） | 聴覚と福祉情報工学，一般 （共催：日本音響学会・聴覚研究会） |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | WIT |
| 会議コード | 2011-02-WIT |
| 本文の言語 | 日本語 |
| タイトル（和） | リアルタイム字幕作成支援のための数式抽出 |
| サブタイトル（和） | |
| タイトル（英） | Extraction of Mathematical Formulas for Supporting Real-time Captioning |
| サブタイトル（英） | |
| キーワード(1)（和/英） | リアルタイム字幕 / Real-time Captioning |
| キーワード(2)（和/英） | 数式抽出 / Mathematical Formulas Extraction |
| キーワード(3)（和/英） | 指示動作 / Pointing Gesture |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 川口 弘哲 / Hironori Kawaguchi / カワグチ ヒロノリ |
| 第1著者 所属（和/英） | 名古屋大学 (略称： 名大) Nagoya University (略称： Nagoya Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 竹内 義則 / Yoshinori Takeuchi / タケウチ ヨシノリ |
| 第2著者 所属（和/英） | 名古屋大学 (略称： 名大) Nagoya University (略称： Nagoya Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 松本 哲也 / Tetsuya Matsumoto / マツモト テツヤ |
| 第3著者 所属（和/英） | 名古屋大学 (略称： 名大) Nagoya University (略称： Nagoya Univ.) |
| 第4著者 氏名（和/英/ヨミ） | 工藤 博章 / Hiroaki Kudo / クドウ ヒロアキ |
| 第4著者 所属（和/英） | 名古屋大学 (略称： 名大) Nagoya University (略称： Nagoya Univ.) |
| 第5著者 氏名（和/英/ヨミ） | 大西 昇 / Noboru Ohnishi / オオニシ ノボル |
| 第5著者 所属（和/英） | 名古屋大学 (略称： 名大) Nagoya University (略称： Nagoya Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2011-02-18 14:45:00 |
| 発表時間 | 30分 |
| 申込先研究会 | WIT |
| 資料番号 | WIT2010-70 |
| 巻番号（vol） | vol.110 |
| 号番号（no） | no.418 |
| ページ範囲 | pp.19-24 |
| ページ数 | 6 |
| 発行日 | 2011-02-11 (WIT) |
[研究会発表申込システムのトップページに戻る]