| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2022-03-04 10:05 複数のセンサを用いる無発声単語認識に関する研究 ○草本雅也・大田健紘（日本工大）  MICT2021-104 |
|
| 抄録 | （和） | 本研究は，複数のセンサを用いた無発声単語認識の有効性を明らかにすることを目的とする．無発声音声認識の一つの手段として可視光カメラを用いた場合，口形の変化が類似している単語については識別が困難となる課題がある．そのため，可視光カメラ及びサーモグラフィー，筋電位センサを用いて，発話動作から口の動きや口内の情報に関する時系列データを取得し，それらを融合する深層学習を行った．その結果，サーモグラフィーにより得られた熱動画像を学習データに含むことが認識性能の向上に寄与した．特に熱動画像と筋電位を融合することで最良の認識性能が得られた． |
| （英） | The aim of this study is to clarify the effectiveness of silent word recognition using multiple sensors. When a visible light camera is used as one means of silent speech recognition, there is a problem that it is difficult to identify words with similar changes in mouth shape. Hence, we acquired time-series data on mouth movements and information in oral cavity by using a visible light camera, thermography, and EMG sensor, and performed deep learning by fusing these data. As a result, including the thermal image obtained by thermography in the training data contributed to the improvement of recognition performance. In particular, the best recognition performance was obtained by fusing the thermal image and EMG. | |
| キーワード | （和） | 口唇部特徴点 / 筋電位 / 熱動画像 / 機械読唇 / 深層学習 / / / |
| （英） | mouth feature points / EMG / thermal image / lipreading / deep learning / / / | |
| 文献情報 | 信学技報, vol. 121, no. 404, MICT2021-104, pp. 19-24, 2022年3月. | |
| 資料番号 | MICT2021-104 | |
| 発行日 | 2022-02-25 (MICT) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | MICT2021-104 |
|
| 研究会情報 | |
| 研究会 | MICT EMCJ |
| 開催期間 | 2022-03-04 - 2022-03-04 |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | ヘルスケア・医療情報通信技術，生体，EMC，一般 |
| テーマ（英） | Healthcare and Medical Information Communication Technologies, EMC, etc |
| 講演論文情報の詳細 | |
| 申込み研究会 | MICT |
| 会議コード | 2022-03-MICT-EMCJ |
| 本文の言語 | 日本語 |
| タイトル（和） | 複数のセンサを用いる無発声単語認識に関する研究 |
| サブタイトル（和） | |
| タイトル（英） | A study on silent word recognition using various sensors |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 口唇部特徴点 / mouth feature points |
| キーワード(2)（和/英） | 筋電位 / EMG |
| キーワード(3)（和/英） | 熱動画像 / thermal image |
| キーワード(4)（和/英） | 機械読唇 / lipreading |
| キーワード(5)（和/英） | 深層学習 / deep learning |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 草本 雅也 / Masaya Kusamoto / クサモト マサヤ |
| 第1著者 所属（和/英） | 日本工業大学 (略称： 日本工大) Nippon Institute of Technology (略称： NIT) |
| 第2著者 氏名（和/英/ヨミ） | 大田 健紘 / Kenko Ota / オオタ ケンコウ |
| 第2著者 所属（和/英） | 日本工業大学 (略称： 日本工大) Nippon Institute of Technology (略称： NIT) |
| 講演者 | 第1著者 |
| 発表日時 | 2022-03-04 10:05:00 |
| 発表時間 | 20分 |
| 申込先研究会 | MICT |
| 資料番号 | MICT2021-104 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | no.404 |
| ページ範囲 | pp.19-24 |
| ページ数 | 6 |
| 発行日 | 2022-02-25 (MICT) |
[研究会発表申込システムのトップページに戻る]