| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-05-17 11:40 マルチモーダル基盤モデルを用いたマイクロ行動認識に基づく学生エンゲージメントのリアルタイム推定手法 ○松浦雅人・天野辰哉・山口弘純（阪大）  SeMI2024-11 |
|
| 抄録 | （和） | 本研究では，協調学習中の学生のマイクロ行動に着目し，マルチモーダル基盤モデルを用いて行動的エンゲージメントをリアルタイムに推定する手法を提案する．マイクロ行動とは，うなずきや姿勢変化などの比較的短時間の行動を指す．提案手法では，既存研究で提案されている日常生活におけるマイクロ行動を表すテキストデータと，ビデオ・オーディオデータから抽出した特徴量との類似度をマルチモーダル基盤モデルである ImageBind をもちいて算出し，これを分類器の入力として学生のエンゲージメントを推定する．大学生を対象とした模擬授業実験のデータを用いて評価した結果，提案手法は 2 値分類において 78.1% の精度を達成した．さらに，各マイクロ行動がエンゲージメント推定に与える影響度を SHAP 値により解析した結果，「メモを取る」「マウスを動かす」「キーボードを打つ」 などのマイクロ行動が高エンゲージメントと関連することが明らかになった． |
| （英） | (Not available yet) | |
| キーワード | （和） | 学生エンゲージメント / 行動検出 / マルチモーダル基盤モデル / / / / / |
| （英） | / / / / / / / | |
| 文献情報 | 信学技報, vol. 124, no. 22, SeMI2024-11, pp. 52-57, 2024年5月. | |
| 資料番号 | SeMI2024-11 | |
| 発行日 | 2024-05-08 (SeMI) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | SeMI2024-11 |
|
| 研究会情報 | |
| 研究会 | SeMI IPSJ-ITS IPSJ-MBL IPSJ-DPS |
| 開催期間 | 2024-05-15 - 2024-05-17 |
| 開催地（和） | 沖縄県青年会館 |
| 開催地（英） | |
| テーマ（和） | センサネットワーク，モバイルインテリジェンス，分散コンピューティング，ITS，スマートコミュニティ，モバイルコンピューティング，パーベイシブシステム，一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | SeMI |
| 会議コード | 2024-05-SeMI-ITS-MBL-DPS |
| 本文の言語 | 日本語 |
| タイトル（和） | マルチモーダル基盤モデルを用いたマイクロ行動認識に基づく学生エンゲージメントのリアルタイム推定手法 |
| サブタイトル（和） | |
| タイトル（英） | A Real-Time Estimation Method for Student Engagement in Collaborative Learning Using Multi-modal Foundation Model |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 学生エンゲージメント / |
| キーワード(2)（和/英） | 行動検出 / |
| キーワード(3)（和/英） | マルチモーダル基盤モデル / |
| キーワード(4)（和/英） | / |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 松浦 雅人 / Masato Matsuura / マツウラ マサト |
| 第1著者 所属（和/英） | 大阪大学 (略称： 阪大) Osaka University (略称： Osaka Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 天野 辰哉 / Tatsuya Amano / アマノ タツヤ |
| 第2著者 所属（和/英） | 大阪大学 (略称： 阪大) Osaka University (略称： Osaka Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 山口 弘純 / Hirozumi Yamaguchi / ヤマグチ ヒロズミ |
| 第3著者 所属（和/英） | 大阪大学 (略称： 阪大) Osaka University (略称： Osaka Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2024-05-17 11:40:00 |
| 発表時間 | 25分 |
| 申込先研究会 | SeMI |
| 資料番号 | SeMI2024-11 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.22 |
| ページ範囲 | pp.52-57 |
| ページ数 | 6 |
| 発行日 | 2024-05-08 (SeMI) |
[研究会発表申込システムのトップページに戻る]