| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2012-03-29 16:50 口動作を編集した発話映像による音声聞き取りへの影響 ○遠藤浩幸・林 大作（千葉工大）・望月 要（帝京大）・大西 仁（放送大）・中村直人（千葉工大）  PRMU2011-257 HIP2011-85 |
|
| 抄録 | （和） | 一般に視覚と聴覚は相互に影響し合っていることが知られている．音声の聞き取りにおいて，視覚情報の補完的役割が考えられる．そこで本研究では，音声の聞き取り時における視覚情報の役割について実験してきた．はじめに，顔映像が音声の聞き取りに与える影響を検証する実験を行った．その結果，音声の聞き取りにくい環境でのみ，顔映像は聞き取りに貢献し，視線は発話者の口元に集中することが示された．次に，聞き取り時における発話者の口の動きの影響と特性について実験を行った．実験では，顔映像内の一部分の動きだけを編集するシステムを構築した．しかし，これまでのシステムでは，発話者の顔に編集用のマーカーを付けなければならなかった．そのため，実験において被験者の視線がそのマーカーに集まってしまう傾向が見られた．そこで，今回，マーカーを使用せずに映像内の一部分の動きを編集できるシステムの構築を行った．そして，そのシステムを用いて口の動きの影響と特性について実験を行った． |
| （英） | Hearing and vision are affecting each other, visual information may contribute to auditory information when we recognize a speech.This study examined the contribution of visual information of speaker's face to speech cognition.In the first experiment, we analyzed the changes of eye movements of the experimental participants during speech cognition.Results of this experiment showed that accuracy of repeat has improved by visual information and that participants tended to look at speaker's mouth when noise was added to voice.Next, we experimented the contribution of the movement of the mouth to speech cognition.For this experiment, we constructed a system to change movement amount of certain parts of the face picture and made materials by this system.However, this system had to attach markers for edit to speaker's face. In this experiment, participants tended to look at a marker.Then, we improved this system for which markers are not required, and experimented again using this system. | |
| キーワード | （和） | 視聴覚統合 / 発話理解 / 画像処理 / 視線計測 / / / / |
| （英） | Audio-visual integration / Speech cognition / Image processing / Gaze tracking / / / / | |
| 文献情報 | 信学技報, vol. 111, no. 500, HIP2011-85, pp. 105-110, 2012年3月. | |
| 資料番号 | HIP2011-85 | |
| 発行日 | 2012-03-22 (PRMU, HIP) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | PRMU2011-257 HIP2011-85 |
|
| 研究会情報 | |
| 研究会 | PRMU HIP |
| 開催期間 | 2012-03-29 - 2012-03-30 |
| 開催地（和） | 神戸大学 |
| 開催地（英） | |
| テーマ（和） | 人の視聴覚情報処理とPRMUの接点 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | HIP |
| 会議コード | 2012-03-PRMU-HIP |
| 本文の言語 | 日本語 |
| タイトル（和） | 口動作を編集した発話映像による音声聞き取りへの影響 |
| サブタイトル（和） | |
| タイトル（英） | Effect of Utterance Picture by Editing Mouth Movements on Speech Cognition |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 視聴覚統合 / Audio-visual integration |
| キーワード(2)（和/英） | 発話理解 / Speech cognition |
| キーワード(3)（和/英） | 画像処理 / Image processing |
| キーワード(4)（和/英） | 視線計測 / Gaze tracking |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 遠藤 浩幸 / Hiroyuki Endo / エンドウ ヒロユキ |
| 第1著者 所属（和/英） | 千葉工業大学大学院情報科学研究科 (略称： 千葉工大) Chiba Institute of Technology (略称： Chiba Inst. of Tech.) |
| 第2著者 氏名（和/英/ヨミ） | 林 大作 / Daisaku Hayashi / ハヤシ ダイサク |
| 第2著者 所属（和/英） | 千葉工業大学大学院情報科学研究科 (略称： 千葉工大) Chiba Institute of Technology (略称： Chiba Inst. of Tech.) |
| 第3著者 氏名（和/英/ヨミ） | 望月 要 / Kaname Mochizuki / モチヅキ カナメ |
| 第3著者 所属（和/英） | 帝京大学 (略称： 帝京大) Teikyo University (略称： Teikyo Univ.) |
| 第4著者 氏名（和/英/ヨミ） | 大西 仁 / Hitoshi Ohnishi / オオニシ ヒトシ |
| 第4著者 所属（和/英） | 放送大学 (略称： 放送大) The Open University of Japan (略称： The Open Univ. of Japan) |
| 第5著者 氏名（和/英/ヨミ） | 中村 直人 / Naoto Nakamura / ナカムラ ナオト |
| 第5著者 所属（和/英） | 千葉工業大学大学院情報科学研究科 (略称： 千葉工大) Chiba Institute of Technology (略称： Chiba Inst. of Tech.) |
| 講演者 | 第1著者 |
| 発表日時 | 2012-03-29 16:50:00 |
| 発表時間 | 30分 |
| 申込先研究会 | HIP |
| 資料番号 | PRMU2011-257, HIP2011-85 |
| 巻番号（vol） | vol.111 |
| 号番号（no） | no.499(PRMU), no.500(HIP) |
| ページ範囲 | pp.105-110 |
| ページ数 | 6 |
| 発行日 | 2012-03-22 (PRMU, HIP) |
[研究会発表申込システムのトップページに戻る]