| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-06-16 14:20 ディープ・ラーニングを用いた手話認識に関する研究 ～ 2単語文と手話辞書構造を導入したConformerによる認識 ～ ○池田康希・木村 勉（豊田高専）  WIT2023-2 |
|
| 抄録 | （和） | 本研究では機械学習を用いた手話認識において，文中で使用されている単語の認識を目的とする．手話文に存在する遷移を考慮した手話認識モデルの学習のために，より多くの手話文データを必要とする．そこで，データ収集が困難な手話文に代わって2単語文を使用することで，データ量を増加させる．認識モデルには音声認識で高い性能を持つConformerをベースに使用し，手話文の全体的及び局所的な特徴を抽出する．また，手話単語で学習したConformerの一部パラメータを手話辞書として手話文の認識モデルに加算し，手話単語の特徴を抽出する．さらに，認識モデルの損失関数にConnectionist Temporal Classificationを使用する．これらの構造を用いて，木村研究室の手話データセットで学習を行ったところ，最高で約79%の認識率となった．しかし，単語の学習回数を増加させると，文の認識率が低下する結果となり，手話辞書構造が活用されているとは言えなかった． |
| （英） | This study aims to recognize words used in sentences in sign language recognition using machine learning. In order to train a sign language recognition model that takes into account the transitions that exist in a sign sentence, more sign sentence data is required. Therefore, we increase the amount of data by using two-word sentences instead of complete sign sentences, which are difficult to collect. The recognition model is based on Conformer, which has shown high performance in speech recognition, and it extracts global and local features of the signed sentences. Additionally, certain parameters from the Conformer, trained on signed words, are incorporated into the recognition model as a sign language dictionary to extract features specific to signed words. Furthermore, we utilize Connectionist Temporal Classification as the loss function for the recognition model. With these structures in place, we achieved a maximum recognition rate of approximately 79% on the Kimura Lab's sign language dataset. However, the recognition rate for complete sentences decreased as the number of learned words increased, indicating that the sign language dictionary structure was not fully utilized. | |
| キーワード | （和） | 手話認識 / ディープ・ラーニング / Connectionist Temporal Classification / Conformer / / / / |
| （英） | Sign Language Recognition / Deep Learning / Connectionist Temporal Classification / Conformer / / / / | |
| 文献情報 | 信学技報, vol. 123, no. 81, WIT2023-2, pp. 6-11, 2023年6月. | |
| 資料番号 | WIT2023-2 | |
| 発行日 | 2023-06-09 (WIT) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | WIT2023-2 |
|
| 研究会情報 | |
| 研究会 | WIT |
| 開催期間 | 2023-06-16 - 2023-06-17 |
| 開催地（和） | 沖縄産業振興センター |
| 開催地（英） | Okinawa Industry Support Center |
| テーマ（和） | 福祉情報工学、一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | WIT |
| 会議コード | 2023-06-WIT |
| 本文の言語 | 日本語 |
| タイトル（和） | ディープ・ラーニングを用いた手話認識に関する研究 |
| サブタイトル（和） | 2単語文と手話辞書構造を導入したConformerによる認識 |
| タイトル（英） | Study on Sign Language Recognition Using Deep Learning |
| サブタイトル（英） | Recognition by conformer with the introduction of two-word sentences and sign language dictionary structure |
| キーワード(1)（和/英） | 手話認識 / Sign Language Recognition |
| キーワード(2)（和/英） | ディープ・ラーニング / Deep Learning |
| キーワード(3)（和/英） | Connectionist Temporal Classification / Connectionist Temporal Classification |
| キーワード(4)（和/英） | Conformer / Conformer |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 池田 康希 / Kouki Ikeda / イケダ コウキ |
| 第1著者 所属（和/英） | 豊田工業高等専門学校 (略称： 豊田高専) National Institute of Technology,Toyota College (略称： National Institute of Technology,Toyota College) |
| 第2著者 氏名（和/英/ヨミ） | 木村 勉 / Tsutomu Kimura / キムラ ツトム |
| 第2著者 所属（和/英） | 豊田工業高等専門学校 (略称： 豊田高専) National Institute of Technology,Toyota College (略称： National Institute of Technology,Toyota College) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-06-16 14:20:00 |
| 発表時間 | 25分 |
| 申込先研究会 | WIT |
| 資料番号 | WIT2023-2 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.81 |
| ページ範囲 | pp.6-11 |
| ページ数 | 6 |
| 発行日 | 2023-06-09 (WIT) |
[研究会発表申込システムのトップページに戻る]