講演抄録/キーワード |
講演名 |
2023-01-21 16:20
初学者のための手話学習支援システム ~ 手指画像の空間移動量を用いた自動再生速度調節機能の検討 ~ ○松丸和暉(芝浦工大)・筒口 拳(崇城大)・米村俊一(芝浦工大) HCS2022-63 |
抄録 |
(和) |
手話学習では,イラストを併用するテキスト教材や実写映像を用いたビデオ教材などが用いられる.テキスト教材は手指の形や手指の動きなどと言った手話の重要な要素が強調表示されているため手指動作の始点/中間点/終点といった大まかな手話学習に適している.それに対し,ビデオ教材では手話の詳細な動きについて確認することが原理的には可能であるが,もともと手話表現の知識に乏しい初心者にとって手指の動きが変化したこと自体に気付くことが難しく,結果的に正確な手話を学習することが難しいのが現状である.
本研究では,手話表現の空間的な特徴点を含む「手話キーフレーム画像」を用いて初学者が正しい手話表現を学ぶことを支援する手話学習システムの検討を行ってきた.本稿では,手話実写映像において初学者が速いと感じる手話単語を自動的に検出し,その再生速度を自動的に調節するシステムを提案する.速いと感じる手話単語を抽出するため,手話映像中の手指部分の空間移動量と画像フレーム数から見かけ上の手話表現の速さを推定する.本稿で提案する手話表現の速さ推定が妥当かどうかについて実験的に検証し,その結果に基づいて文章内の単語再生を自動的に速度調節する機能の検討を行ったので報告する. |
(英) |
Textbooks with illustrations and video materials with live-action images are used for sign language learning. Textbooks are suitable for learning general signs such as the beginning, middle, and end points of sign movements, because they highlight important elements of the sign language such as finger shapes and finger movements. On the other hand, video materials allow, in principle, to check detailed sign movements, but it is difficult for beginners with limited knowledge of sign language expression to notice changes in finger movements, and as a result, it is difficult for them to learn sign language accurately.
In this study, we have been investigating a sign language learning system that supports beginners in learning correct sign language expressions by using "sign language keyframe images" that include spatial feature points of sign language expressions. In this paper, we propose a system that automatically detects the sign words that beginners find too fast and automatically adjusts the playback speed of these words. In order to extract the sign words that are perceived as fast, the system estimates the apparent speed of the sign expression based on the amount of spatial movement of the fingers in the sign language video and the number of image frames. We experimentally verified the validity of the speed estimation of the sign language expressions proposed in this paper, and based on the results, we report on our study of a function that automatically adjusts the speed of word playback within a sentence. |
キーワード |
(和) |
手話学習 / 手話キーフレーム画像 / 空間移動量 / 画像フレーム数 / / / / |
(英) |
Learning sign language / Sign language keyframe images / Amount of spatial movement / Number of image frames / / / / |
文献情報 |
信学技報, vol. 122, no. 349, HCS2022-63, pp. 48-53, 2023年1月. |
資料番号 |
HCS2022-63 |
発行日 |
2023-01-14 (HCS) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
HCS2022-63 |
研究会情報 |
研究会 |
HCS |
開催期間 |
2023-01-21 - 2023-01-22 |
開催地(和) |
京都工芸繊維大学 |
開催地(英) |
Kyoto Institute of Technology |
テーマ(和) |
身体的コミュニケーション,および一般 |
テーマ(英) |
Physical Communication, etc. |
講演論文情報の詳細 |
申込み研究会 |
HCS |
会議コード |
2023-01-HCS |
本文の言語 |
日本語 |
タイトル(和) |
初学者のための手話学習支援システム |
サブタイトル(和) |
手指画像の空間移動量を用いた自動再生速度調節機能の検討 |
タイトル(英) |
Sign language learning support system for beginners |
サブタイトル(英) |
Automatic playback speed adjustment function using the amount of spatial movement of hand images |
キーワード(1)(和/英) |
手話学習 / Learning sign language |
キーワード(2)(和/英) |
手話キーフレーム画像 / Sign language keyframe images |
キーワード(3)(和/英) |
空間移動量 / Amount of spatial movement |
キーワード(4)(和/英) |
画像フレーム数 / Number of image frames |
キーワード(5)(和/英) |
/ |
キーワード(6)(和/英) |
/ |
キーワード(7)(和/英) |
/ |
キーワード(8)(和/英) |
/ |
第1著者 氏名(和/英/ヨミ) |
松丸 和暉 / Kazuki Matsumaru / マツマル カズキ |
第1著者 所属(和/英) |
芝浦工業大学 (略称: 芝浦工大)
Shibaura Institute of Technology (略称: SIT) |
第2著者 氏名(和/英/ヨミ) |
筒口 拳 / Ken Tsutsuguchi / ツツグチ ケン |
第2著者 所属(和/英) |
崇城大学 (略称: 崇城大)
Sojo University (略称: Sojo Univ.) |
第3著者 氏名(和/英/ヨミ) |
米村 俊一 / Shunichi Yonemura / ヨネムラ シュンイチ |
第3著者 所属(和/英) |
芝浦工業大学 (略称: 芝浦工大)
Shibaura Institute of Technology (略称: SIT) |
第4著者 氏名(和/英/ヨミ) |
/ / |
第4著者 所属(和/英) |
(略称: )
(略称: ) |
第5著者 氏名(和/英/ヨミ) |
/ / |
第5著者 所属(和/英) |
(略称: )
(略称: ) |
第6著者 氏名(和/英/ヨミ) |
/ / |
第6著者 所属(和/英) |
(略称: )
(略称: ) |
第7著者 氏名(和/英/ヨミ) |
/ / |
第7著者 所属(和/英) |
(略称: )
(略称: ) |
第8著者 氏名(和/英/ヨミ) |
/ / |
第8著者 所属(和/英) |
(略称: )
(略称: ) |
第9著者 氏名(和/英/ヨミ) |
/ / |
第9著者 所属(和/英) |
(略称: )
(略称: ) |
第10著者 氏名(和/英/ヨミ) |
/ / |
第10著者 所属(和/英) |
(略称: )
(略称: ) |
第11著者 氏名(和/英/ヨミ) |
/ / |
第11著者 所属(和/英) |
(略称: )
(略称: ) |
第12著者 氏名(和/英/ヨミ) |
/ / |
第12著者 所属(和/英) |
(略称: )
(略称: ) |
第13著者 氏名(和/英/ヨミ) |
/ / |
第13著者 所属(和/英) |
(略称: )
(略称: ) |
第14著者 氏名(和/英/ヨミ) |
/ / |
第14著者 所属(和/英) |
(略称: )
(略称: ) |
第15著者 氏名(和/英/ヨミ) |
/ / |
第15著者 所属(和/英) |
(略称: )
(略称: ) |
第16著者 氏名(和/英/ヨミ) |
/ / |
第16著者 所属(和/英) |
(略称: )
(略称: ) |
第17著者 氏名(和/英/ヨミ) |
/ / |
第17著者 所属(和/英) |
(略称: )
(略称: ) |
第18著者 氏名(和/英/ヨミ) |
/ / |
第18著者 所属(和/英) |
(略称: )
(略称: ) |
第19著者 氏名(和/英/ヨミ) |
/ / |
第19著者 所属(和/英) |
(略称: )
(略称: ) |
第20著者 氏名(和/英/ヨミ) |
/ / |
第20著者 所属(和/英) |
(略称: )
(略称: ) |
講演者 |
第1著者 |
発表日時 |
2023-01-21 16:20:00 |
発表時間 |
25分 |
申込先研究会 |
HCS |
資料番号 |
HCS2022-63 |
巻番号(vol) |
vol.122 |
号番号(no) |
no.349 |
ページ範囲 |
pp.48-53 |
ページ数 |
6 |
発行日 |
2023-01-14 (HCS) |
|