お知らせ 2023年度・2024年度 学生員 会費割引キャンペーン実施中です
お知らせ 技術研究報告と和文論文誌Cの同時投稿施策(掲載料1割引き)について
お知らせ 電子情報通信学会における研究会開催について
お知らせ NEW 参加費の返金について
電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
[ログイン]
技報アーカイブ
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2024-03-13 10:00
視線,表情,心拍,脳波を用いたVR空間でのマンガ教材読書時の主観的難易度推定
石塚裕之奈良先端大)・坂本賢哉白井詩沙香オーロスキ ジェーソン阪大)・平尾悠太朗ペルスキアエルナンデス モニカ奈良先端大)・磯山直也大妻女子大)・内山英昭清川 清奈良先端大IMQ2023-13 IE2023-68 MVE2023-42
抄録 (和) 近年,教育分野におけるメタバースの活用が進んでいる.本研究では,VR空間でマンガ教材を読んでいるときの主観的難易度を推定するために使用できる有意な生体信号の特徴を探索する.教育マンガは幅広い分野を効果的に学べる教材であるが,教材の閲覧履歴などのログデータを用いたアプローチでは学習者の学習時の集中度や理解度などの状態を検出することが困難である.そこで本研究では,VR空間でマンガ教材を読む際の学習を支援するために,視線,顔,心電(ECG),脳波(EEG)を用いた主観的な難易度推定手法を提案する.提案手法では,先行研究で用いられている視線特徴量に加え,表情変化量,心拍変動量,脳波の$alpha$波・$theta$波などの生体情報を特徴量として用いる.提案手法の有効性を検証するためにVR空間でのマンガ教材読書時の学習者のデータをそれぞれ計測し,サポートベクトルマシンとランダムフォレストによる2段階(難・易)の主観的難易度推定を行った.結果として表情,心電特徴量を使用したランダムフォレスト(RF) アプローチによってAccuracy は 0.965,F1 スコアは 0.940 を達成した. 
(英) This study explores significant biometric features that can be used to estimate subjective difficulty while reading educational cartoon materials. Although educational cartoons are effective teaching materials for learning a wide range of subjects, it is difficult to detect the learner's state using a log data-based approach. Therefore, we propose a subjective difficulty estimation method using eye gaze, face, electrocardiogram, and electroencephalogram to support learning when reading manga materials in VR(Virtual Reality) space. In addition to gaze features used in previous studies, the proposed method uses biometric information such as the amount of facial expression change, heart rate variability, and alpha and theta waves of EEG as features. To verify the effectiveness of the proposed method, we measured the learners' data during reading manga materials in a VR space, respectively, and performed subjective difficulty estimation using support vector machines and random forests. As a result, Accuracy and F1 scores of 0.965 and 0.940 were achieved by the Random Forest (RF) approach using facial expression and electrocardiogram features, respectively.
キーワード (和) 認知状態認識 / アイトラッキング / 表情 / ECG / EEG / 教育 / /  
(英) Cognitive state recognition / eye tracking / facial expressions / ECG / EEG / Education / /  
文献情報 信学技報, vol. 123, no. 433, MVE2023-42, pp. 1-6, 2024年3月.
資料番号 MVE2023-42 
発行日 2024-03-06 (IMQ, IE, MVE) 
ISSN Online edition: ISSN 2432-6380
著作権に
ついて
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034)
PDFダウンロード IMQ2023-13 IE2023-68 MVE2023-42

研究会情報
研究会 IE MVE CQ IMQ  
開催期間 2024-03-13 - 2024-03-15 
開催地(和) 沖縄産業支援センター 
開催地(英) Okinawa Sangyo Shien Center 
テーマ(和) 五感に訴えるオンラインメディアとその評価,および一般(魅力工学研究会協賛) 
テーマ(英) Media of five senses, Multimedia, Media experience, Picture codinge, Image media quality, Network,quality and reliability, etc(AC) 
講演論文情報の詳細
申込み研究会 MVE 
会議コード 2024-03-IE-MVE-CQ-IMQ 
本文の言語 日本語 
タイトル(和) 視線,表情,心拍,脳波を用いたVR空間でのマンガ教材読書時の主観的難易度推定 
サブタイトル(和)  
タイトル(英) Estimation of Perceived Difficulty when reading VR-based Educational Comics Using Gaze and Facial Movement, Heart Rate, and Electroencephalography 
サブタイトル(英)  
キーワード(1)(和/英) 認知状態認識 / Cognitive state recognition  
キーワード(2)(和/英) アイトラッキング / eye tracking  
キーワード(3)(和/英) 表情 / facial expressions  
キーワード(4)(和/英) ECG / ECG  
キーワード(5)(和/英) EEG / EEG  
キーワード(6)(和/英) 教育 / Education  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 石塚 裕之 / Hiroyuki Ishizuka / イシヅカ ヒロユキ
第1著者 所属(和/英) 奈良先端科学技術大学院大学 (略称: 奈良先端大)
Nara Institute of Science and Technology (略称: NAIST)
第2著者 氏名(和/英/ヨミ) 坂本 賢哉 / Kenya Sakamoto / ヒラオ ユウタロウ
第2著者 所属(和/英) 大阪大学 (略称: 阪大)
Osaka University (略称: OU)
第3著者 氏名(和/英/ヨミ) 白井 詩沙香 / Shizuka Shirai / ペルスキアエルナンデス モニカ
第3著者 所属(和/英) 大阪大学 (略称: 阪大)
Osaka University (略称: OU)
第4著者 氏名(和/英/ヨミ) オーロスキ ジェーソン / Jason Orlosky / オーロスキ ジェーソン
第4著者 所属(和/英) 大阪大学 (略称: 阪大)
Osaka University (略称: OU)
第5著者 氏名(和/英/ヨミ) 平尾 悠太朗 / Yutaro Hirao / ヒラオ ユウタロウ
第5著者 所属(和/英) 奈良先端科学技術大学院大学 (略称: 奈良先端大)
Nara Institute of Science and Technology (略称: NAIST)
第6著者 氏名(和/英/ヨミ) ペルスキアエルナンデス モニカ / Monica Perusquia-Hernandez / ペルスキアエルナンデス モニカ
第6著者 所属(和/英) 奈良先端科学技術大学院大学 (略称: 奈良先端大)
Nara Institute of Science and Technology (略称: NAIST)
第7著者 氏名(和/英/ヨミ) 磯山 直也 / Naoya Isoyama / イソヤマ ナオヤ
第7著者 所属(和/英) 大妻女子大学 (略称: 大妻女子大)
Otsuma Women's University (略称: OWU)
第8著者 氏名(和/英/ヨミ) 内山 英昭 / Hideaki Uchiyama / ウチヤマ ヒデアキ
第8著者 所属(和/英) 奈良先端科学技術大学院大学 (略称: 奈良先端大)
Nara Institute of Science and Technology (略称: NAIST)
第9著者 氏名(和/英/ヨミ) 清川 清 / Kiyoshi Kiyokawa / キヨカワ キヨシ
第9著者 所属(和/英) 奈良先端科学技術大学院大学 (略称: 奈良先端大)
Nara Institute of Science and Technology (略称: NAIST)
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者 第1著者 
発表日時 2024-03-13 10:00:00 
発表時間 20分 
申込先研究会 MVE 
資料番号 IMQ2023-13, IE2023-68, MVE2023-42 
巻番号(vol) vol.123 
号番号(no) no.430(IMQ), no.432(IE), no.433(MVE) 
ページ範囲 pp.1-6 
ページ数
発行日 2024-03-06 (IMQ, IE, MVE) 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会