| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-08-20 10:05 アノテーション支援のための日本手話の映像データにおけるマウジング検出の検討 ○梅田唯花・酒向慎司（名工大）  WIT2024-1 |
|
| 抄録 | （和） | 本研究では，手話のアノテーション支援を目的とし，日本手話の口型の一種であるマウジング検出について検討を行った．口型とは，手話中に現れる口の動きのことを指す．現在，日本手話において，より大規模で汎用的なコーパスの開発が急務となっているが，手話の複雑性により，アノテーションは容易ではない作業とされている．そのため，自動アノテーションによるコーパス整備の効率化が望まれている．イギリス手話の大規模なデータ セットであるBOBSLにおける自動アノテーションの研究[1]では，口型認識を用いた単語検出のアプローチを使用しており，これにより手指信号の認識だけでは検出が難しい語の検出を可能にしている．そこで本研究では，日本手話における口型認識に基づいて，音声言語由来の口の動きであるマウジングを検出する．本提案手法では，既存の機械読唇技術を用いて，日本手話における口型の認識を行う．そして，手話に対応した日本語音声の書き起こしテキスト内からマウジングの候補の語を特定し，口型認識の結果とマッチングさせることで，マウジングに相当する区間を特定する．また本研究では，日本手話映像を用いてマウジング検出の検証用にデータセットを作成し，その中で，マウジングの表出について調査した．その結果，表出パターンにはばらつきがみられ，提案手法におけるマウジング候補の特定方法をさらに検討する必要があることが分かった．最後に，口型のみの認識によるアノテーションの限界，そして，より正確なアノテーションのための手法の検討などの今後の方針を述べる． |
| （英） | We studied the detection of mouthing, a type of mouth movement in Japanese Sign Language, to support sign language annotation. There is a need to develop a larger and more versatile corpus of Japanese Sign Language. However, annotation is difficult due to the complexity of sign language expressions. Therefore, we would like to automate the annotation of signs so that the corpus can be developed more efficiently. In the development of BOBSL, they used a technology that recognizes mouth shapes for automatic annotation. In this study, we use existing machine lip-reading technology to recognize mouth shapes in Japanese Sign Language. It then detects mouth movements, called mouthing, by matching the recognition results with mouthing words identified from the translated text. We also collected videos of Japanese Sign Language to create our dataset. At that time, we investigated the expression patterns of mousing and found variations. Finally, we considered improvement suggestions of the proposed method for future research. | |
| キーワード | （和） | 手話認識 / 口型認識 / 機械読唇 / アノテーション支援 / / / / |
| （英） | Sign language recognition / Mouth movement recognition / Lip-reading / Annotation support / / / / | |
| 文献情報 | 信学技報, vol. 124, no. 154, WIT2024-1, pp. 1-6, 2024年8月. | |
| 資料番号 | WIT2024-1 | |
| 発行日 | 2024-08-13 (WIT) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | WIT2024-1 |
|
| 研究会情報 | |
| 研究会 | WIT |
| 開催期間 | 2024-08-20 - 2024-08-20 |
| 開催地（和） | はこだて未来大学 |
| 開催地（英） | |
| テーマ（和） | 福祉情報工学、デザイン×福祉、一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | WIT |
| 会議コード | 2024-08-WIT |
| 本文の言語 | 日本語 |
| タイトル（和） | アノテーション支援のための日本手話の映像データにおけるマウジング検出の検討 |
| サブタイトル（和） | |
| タイトル（英） | A study of mousing detection in Japanese Sign Language video for annotation support |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 手話認識 / Sign language recognition |
| キーワード(2)（和/英） | 口型認識 / Mouth movement recognition |
| キーワード(3)（和/英） | 機械読唇 / Lip-reading |
| キーワード(4)（和/英） | アノテーション支援 / Annotation support |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 梅田 唯花 / Yuika Umeda / ウメダ ユイカ |
| 第1著者 所属（和/英） | 名古屋工業大学 (略称： 名工大) Nagoya Institute of Tecnology (略称： NIT) |
| 第2著者 氏名（和/英/ヨミ） | 酒向 慎司 / Shinji Sako / サコウ シンジ |
| 第2著者 所属（和/英） | 名古屋工業大学 (略称： 名工大) Nagoya Institute of Tecnology (略称： NIT) |
| 第3著者 氏名（和/英/ヨミ） | / / |
| 第3著者 所属（和/英） | (略称： ) (略称： ) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-08-20 10:05:00 |
| 発表時間 | 25分 |
| 申込先研究会 | WIT |
| 資料番号 | WIT2024-1 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.154 |
| ページ範囲 | pp.1-6 |
| ページ数 | 6 |
| 発行日 | 2024-08-13 (WIT) |
[研究会発表申込システムのトップページに戻る]