| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-03-13 10:00 視線，表情，心拍，脳波を用いたVR空間でのマンガ教材読書時の主観的難易度推定 ○石塚裕之（奈良先端大）・坂本賢哉・白井詩沙香・オーロスキ ジェーソン（阪大）・平尾悠太朗・ペルスキアエルナンデス モニカ（奈良先端大）・磯山直也（大妻女子大）・内山英昭・清川 清（奈良先端大）  IMQ2023-13 IE2023-68 MVE2023-42 |
|
| 抄録 | （和） | 近年，教育分野におけるメタバースの活用が進んでいる．本研究では，VR空間でマンガ教材を読んでいるときの主観的難易度を推定するために使用できる有意な生体信号の特徴を探索する．教育マンガは幅広い分野を効果的に学べる教材であるが，教材の閲覧履歴などのログデータを用いたアプローチでは学習者の学習時の集中度や理解度などの状態を検出することが困難である．そこで本研究では，VR空間でマンガ教材を読む際の学習を支援するために，視線，顔，心電（ECG），脳波（EEG）を用いた主観的な難易度推定手法を提案する．提案手法では，先行研究で用いられている視線特徴量に加え，表情変化量，心拍変動量，脳波の$alpha$波・$theta$波などの生体情報を特徴量として用いる．提案手法の有効性を検証するためにVR空間でのマンガ教材読書時の学習者のデータをそれぞれ計測し，サポートベクトルマシンとランダムフォレストによる2段階（難・易）の主観的難易度推定を行った．結果として表情，心電特徴量を使用したランダムフォレスト（RF） アプローチによってAccuracy は 0.965，F1 スコアは 0.940 を達成した． |
| （英） | This study explores significant biometric features that can be used to estimate subjective difficulty while reading educational cartoon materials. Although educational cartoons are effective teaching materials for learning a wide range of subjects, it is difficult to detect the learner's state using a log data-based approach. Therefore, we propose a subjective difficulty estimation method using eye gaze, face, electrocardiogram, and electroencephalogram to support learning when reading manga materials in VR（Virtual Reality） space. In addition to gaze features used in previous studies, the proposed method uses biometric information such as the amount of facial expression change, heart rate variability, and alpha and theta waves of EEG as features. To verify the effectiveness of the proposed method, we measured the learners' data during reading manga materials in a VR space, respectively, and performed subjective difficulty estimation using support vector machines and random forests. As a result, Accuracy and F1 scores of 0.965 and 0.940 were achieved by the Random Forest (RF) approach using facial expression and electrocardiogram features, respectively. | |
| キーワード | （和） | 認知状態認識 / アイトラッキング / 表情 / ECG / EEG / 教育 / / |
| （英） | Cognitive state recognition / eye tracking / facial expressions / ECG / EEG / Education / / | |
| 文献情報 | 信学技報, vol. 123, no. 433, MVE2023-42, pp. 1-6, 2024年3月. | |
| 資料番号 | MVE2023-42 | |
| 発行日 | 2024-03-06 (IMQ, IE, MVE) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IMQ2023-13 IE2023-68 MVE2023-42 |
|
| 研究会情報 | |
| 研究会 | IE MVE CQ IMQ |
| 開催期間 | 2024-03-13 - 2024-03-15 |
| 開催地（和） | 沖縄産業支援センター |
| 開催地（英） | Okinawa Sangyo Shien Center |
| テーマ（和） | 五感に訴えるオンラインメディアとその評価，および一般（魅力工学研究会協賛） |
| テーマ（英） | Media of five senses, Multimedia, Media experience, Picture codinge, Image media quality, Network,quality and reliability, etc（AC） |
| 講演論文情報の詳細 | |
| 申込み研究会 | MVE |
| 会議コード | 2024-03-IE-MVE-CQ-IMQ |
| 本文の言語 | 日本語 |
| タイトル（和） | 視線，表情，心拍，脳波を用いたVR空間でのマンガ教材読書時の主観的難易度推定 |
| サブタイトル（和） | |
| タイトル（英） | Estimation of Perceived Difficulty when reading VR-based Educational Comics Using Gaze and Facial Movement, Heart Rate, and Electroencephalography |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 認知状態認識 / Cognitive state recognition |
| キーワード(2)（和/英） | アイトラッキング / eye tracking |
| キーワード(3)（和/英） | 表情 / facial expressions |
| キーワード(4)（和/英） | ECG / ECG |
| キーワード(5)（和/英） | EEG / EEG |
| キーワード(6)（和/英） | 教育 / Education |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 石塚 裕之 / Hiroyuki Ishizuka / イシヅカ ヒロユキ |
| 第1著者 所属（和/英） | 奈良先端科学技術大学院大学 (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 第2著者 氏名（和/英/ヨミ） | 坂本 賢哉 / Kenya Sakamoto / ヒラオ ユウタロウ |
| 第2著者 所属（和/英） | 大阪大学 (略称： 阪大) Osaka University (略称： OU) |
| 第3著者 氏名（和/英/ヨミ） | 白井 詩沙香 / Shizuka Shirai / ペルスキアエルナンデス モニカ |
| 第3著者 所属（和/英） | 大阪大学 (略称： 阪大) Osaka University (略称： OU) |
| 第4著者 氏名（和/英/ヨミ） | オーロスキ ジェーソン / Jason Orlosky / オーロスキ ジェーソン |
| 第4著者 所属（和/英） | 大阪大学 (略称： 阪大) Osaka University (略称： OU) |
| 第5著者 氏名（和/英/ヨミ） | 平尾 悠太朗 / Yutaro Hirao / ヒラオ ユウタロウ |
| 第5著者 所属（和/英） | 奈良先端科学技術大学院大学 (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 第6著者 氏名（和/英/ヨミ） | ペルスキアエルナンデス モニカ / Monica Perusquia-Hernandez / ペルスキアエルナンデス モニカ |
| 第6著者 所属（和/英） | 奈良先端科学技術大学院大学 (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 第7著者 氏名（和/英/ヨミ） | 磯山 直也 / Naoya Isoyama / イソヤマ ナオヤ |
| 第7著者 所属（和/英） | 大妻女子大学 (略称： 大妻女子大) Otsuma Women's University (略称： OWU) |
| 第8著者 氏名（和/英/ヨミ） | 内山 英昭 / Hideaki Uchiyama / ウチヤマ ヒデアキ |
| 第8著者 所属（和/英） | 奈良先端科学技術大学院大学 (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 第9著者 氏名（和/英/ヨミ） | 清川 清 / Kiyoshi Kiyokawa / キヨカワ キヨシ |
| 第9著者 所属（和/英） | 奈良先端科学技術大学院大学 (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-03-13 10:00:00 |
| 発表時間 | 20分 |
| 申込先研究会 | MVE |
| 資料番号 | IMQ2023-13, IE2023-68, MVE2023-42 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.430(IMQ), no.432(IE), no.433(MVE) |
| ページ範囲 | pp.1-6 |
| ページ数 | 6 |
| 発行日 | 2024-03-06 (IMQ, IE, MVE) |
[研究会発表申込システムのトップページに戻る]