| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2015-10-16 11:15 深層学習によるボトルネック特徴量を用いたマルチモーダル音声認識 ○田村哲嗣（岐阜大）・二宮宏史（名大）・北岡教英（徳島大）・大須賀 晋（アイシン精機）・入部百合絵（愛知県立大）・武田一哉（名大）・速水 悟（岐阜大）  SP2015-69 |
|
| 抄録 | （和） | 本稿では，音声と口唇画像を用いるマルチモーダル音声認識において，深層学習によるボトルネック特徴量を用いる手法を提案する． まず，複数の画像特徴を組み合わせ併用することで，画像のみ（読唇）の認識性能が改善することを確認した． 次に，音声モダリティにおいてMFCCから，画像モダリティにおいて上記の特徴から，それぞれボトルネック特徴量を求めた． これらとマルチストリームHMMを用いることで，雑音下でも75%以上の認識性能を得ることができた． さらに，画像モダリティにて発話区間検出を行うことで，読唇性能が十分改善できることを確認した． |
| （英） | In this paper, we propose a novel multi-modal speech recognition method which uses speech and lip images, employing Deep BottleNeck Features (DBNFs). At first, we incorporated several kinds of basic visual features, then significant improvement of visual-only speech recognition (lipreading) was observed. Next, we applied the DBNF technique to MFCCs in the audio modality and the above features in the visual modality, to obtain audio and visual DBNFs respectively. By using these DBNFs and multi-stream HMMs, we achieved more than 75% recognition accuracy even in heavily noisy conditions. In addition, we found recognition performance can be sufficiently improved by performing voice activity detection in the visual modality. |
|
| キーワード | （和） | マルチモーダル音声認識 / 読唇 / ボトルネック特徴量 / 深層学習 / 発話区間検出 / / / |
| （英） | multi-modal speech recognition / lipreading / bottleneck feature / deep learning / voice activity detection / / / | |
| 文献情報 | 信学技報, vol. 115, no. 253, SP2015-69, pp. 57-62, 2015年10月. | |
| 資料番号 | SP2015-69 | |
| 発行日 | 2015-10-08 (SP) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | SP2015-69 |
|
| 研究会情報 | |
| 研究会 | SP |
| 開催期間 | 2015-10-15 - 2015-10-16 |
| 開催地（和） | 神戸大学 瀧川記念学術交流会館 |
| 開催地（英） | Kobe Univ. |
| テーマ（和） | 音声インタフェース，合成，対話，アプリケーションシステム，一般 |
| テーマ（英） | Speech interface, Synthesis, Dialogue, Application system, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | SP |
| 会議コード | 2015-10-SP |
| 本文の言語 | 日本語 |
| タイトル（和） | 深層学習によるボトルネック特徴量を用いたマルチモーダル音声認識 |
| サブタイトル（和） | |
| タイトル（英） | Multi-modal speech recognition using deep bottleneck features |
| サブタイトル（英） | |
| キーワード(1)（和/英） | マルチモーダル音声認識 / multi-modal speech recognition |
| キーワード(2)（和/英） | 読唇 / lipreading |
| キーワード(3)（和/英） | ボトルネック特徴量 / bottleneck feature |
| キーワード(4)（和/英） | 深層学習 / deep learning |
| キーワード(5)（和/英） | 発話区間検出 / voice activity detection |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 田村 哲嗣 / Satoshi Tamura / タムラ サトシ |
| 第1著者 所属（和/英） | 岐阜大学 (略称： 岐阜大) Gifu University (略称： Gifu Univ) |
| 第2著者 氏名（和/英/ヨミ） | 二宮 宏史 / Hiroshi Ninomiya / ニノミヤ ヒロシ |
| 第2著者 所属（和/英） | 名古屋大学 (略称： 名大) Nagoya University (略称： Nagoya Univ) |
| 第3著者 氏名（和/英/ヨミ） | 北岡 教英 / Norihide Kitaoka / キタオカ ノリヒデ |
| 第3著者 所属（和/英） | 徳島大学 (略称： 徳島大) Tokushima University (略称： Tokushima Univ) |
| 第4著者 氏名（和/英/ヨミ） | 大須賀 晋 / Shin Osuga / オオスガ シン |
| 第4著者 所属（和/英） | アイシン精機株式会社 (略称： アイシン精機) Aisin Seiki Co., Ltd. (略称： Aisin Seiki) |
| 第5著者 氏名（和/英/ヨミ） | 入部 百合絵 / Yurie Iribe / イリベ ユリエ |
| 第5著者 所属（和/英） | 愛知県立大学 (略称： 愛知県立大) Aichi Prefectural University (略称： Aichi Prefectural Univ) |
| 第6著者 氏名（和/英/ヨミ） | 武田 一哉 / Kazuya Takeda / タケダ カズヤ |
| 第6著者 所属（和/英） | 名古屋大学 (略称： 名大) Nagoya University (略称： Nagoya Univ) |
| 第7著者 氏名（和/英/ヨミ） | 速水 悟 / Satoru Hayamizu / ハヤミズ サトル |
| 第7著者 所属（和/英） | 岐阜大学 (略称： 岐阜大) Gifu University (略称： Gifu Univ) |
| 講演者 | 第1著者 |
| 発表日時 | 2015-10-16 11:15:00 |
| 発表時間 | 25分 |
| 申込先研究会 | SP |
| 資料番号 | SP2015-69 |
| 巻番号（vol） | vol.115 |
| 号番号（no） | no.253 |
| ページ範囲 | pp.57-62 |
| ページ数 | 6 |
| 発行日 | 2015-10-08 (SP) |
[研究会発表申込システムのトップページに戻る]