| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-07-13 13:25 Action Unitを用いた表情変化の解析に基づく認知症検出 ○奥西泰地・鄭 楚恒・ブアジジ モンデル・大槻知明・北沢桃子・堀込俊郎・岸本泰士郎（慶大）  SeMI2023-30 |
|
| 抄録 | （和） | Action Unitは各表情筋の動作を表し，Action Unitを組み合わせることで，表情を定量化できる．本稿では，Action Unitの動的特徴量を設計して認知症患者を検出する手法と，時系列データに適した深層学習モデルあるLSTM を用いて Action Unit の時系列解析により認知症患者を検出する手法を提案した．動的特徴量の設計により，表情の変化速度などの差異を捉えることを目的とし，LSTMによる解析により，認知症の識別に有用な表情変化のパターンを捉えることを目的とした．被験者が医師と日常会話をする様子の上半身が撮影されたPROMPTデータセットを使用し，認知症患者79人，健常者76人の合計155人のデータセットで評価した．提案法である動的特徴量を用いた手法と，LSTMを用いた手法は，両手法でAUC 0.77を達成し，Action Unitを用いた認知症検出の従来手法のAUC 0.70 を上回った．Action Unitに加えて，顔のランドマークや，視線などの情報を組み合わせることにより，AUCは0.84に改善した．また，動的特徴量を用いた提案手法の特徴量重要度の評価により，目の周りの表情筋の動作が認知症の検出に有用である可能性を示した．さらに，LSTMを用いた提案手法をうつ病，双極性障害にも適用し，他の疾患への応用可能性を示した． |
| （英） | The Action Unit represents the movement of each facial muscle, and by combining Action Unit, facial expressions can be quantified. In this paper, we propose a method for detecting dementia patients by designing dynamic features of the Action Unit and a method for detecting dementia patients by time series analysis of the Action Unit using LSTM, a deep learning model suitable for time series data. The dynamic feature design aims to capture differences in the speed of facial expression change, and the LSTM analysis aims to capture patterns of facial expression change that are useful for identifying dementia. The PROMPT dataset, in which the upper body of a subject was captured while the subject was engaged in a daily conversation with a doctor, was used, and a total of 155 people, 79 dementia patients and 76 healthy subjects, were evaluated in the dataset. The proposed method using dynamic features and LSTM achieved an AUC of 0.77 for both methods, which is higher than the AUC of 0.70 for the conventional method for dementia detection using Action Unit. The AUC was improved to 0.84 by combining information such as facial landmarks and eye gaze in addition to the Action Unit. The evaluation of feature importance of the proposed method using dynamic features showed that the movements of facial muscles around the eyes may be useful in detecting dementia. Furthermore, we applied the proposed LSTM-based method to depression and bipolar disorder, and showed its applicability to other disorders. | |
| キーワード | （和） | 認知症検出 / 表情解析 / Action Unit / 機械学習 / / / / |
| （英） | dementia detection / facial expression analysis / Action Unit / machine learning / / / / | |
| 文献情報 | 信学技報, vol. 123, no. 110, SeMI2023-30, pp. 40-45, 2023年7月. | |
| 資料番号 | SeMI2023-30 | |
| 発行日 | 2023-07-05 (SeMI) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | SeMI2023-30 |
|
| 研究会情報 | |
| 研究会 | SeMI RCS RCC NS SR |
| 開催期間 | 2023-07-12 - 2023-07-14 |
| 開催地（和） | 大阪大学中之島センター+オンライン開催 |
| 開催地（英） | Osaka University Nakanoshima Center + Online |
| テーマ（和） | 無線分散ネットワーク，M2M(Machine-to-Machine)，D2D(Device-to-Device)，一般 |
| テーマ（英） | Distributed Wireless Network, M2M (Machine-to-Machine)，D2D (Device-to-Device)，IoT（Internet of Things）, etc |
| 講演論文情報の詳細 | |
| 申込み研究会 | SeMI |
| 会議コード | 2023-07-SeMI-RCS-RCC-NS-SR |
| 本文の言語 | 日本語 |
| タイトル（和） | Action Unitを用いた表情変化の解析に基づく認知症検出 |
| サブタイトル（和） | |
| タイトル（英） | Dementia detection based on dynamic analysis of facial expressions using Action Unit |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 認知症検出 / dementia detection |
| キーワード(2)（和/英） | 表情解析 / facial expression analysis |
| キーワード(3)（和/英） | Action Unit / Action Unit |
| キーワード(4)（和/英） | 機械学習 / machine learning |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 奥西 泰地 / Taichi Okunishi / オクニシ タイチ |
| 第1著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 鄭 楚恒 / Chuheng Zheng / テイ ソコウ |
| 第2著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 第3著者 氏名（和/英/ヨミ） | ブアジジ モンデル / Mondher Bouazizi / ブアジジ モンデル |
| 第3著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 第4著者 氏名（和/英/ヨミ） | 大槻 知明 / Tomoaki Ohtsuki / オオツキ トモアキ |
| 第4著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 第5著者 氏名（和/英/ヨミ） | 北沢 桃子 / Momoko Kitazawa / キタザワ モモコ |
| 第5著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 第6著者 氏名（和/英/ヨミ） | 堀込 俊郎 / Toshiro Horigome / ホリゴメ トシロウ |
| 第6著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 第7著者 氏名（和/英/ヨミ） | 岸本 泰士郎 / Taishiro Kishimoto / キシモト タイシロウ |
| 第7著者 所属（和/英） | 慶應義塾大学 (略称： 慶大) Keio University (略称： Keio Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-07-13 13:25:00 |
| 発表時間 | 25分 |
| 申込先研究会 | SeMI |
| 資料番号 | SeMI2023-30 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.110 |
| ページ範囲 | pp.40-45 |
| ページ数 | 6 |
| 発行日 | 2023-07-05 (SeMI) |
[研究会発表申込システムのトップページに戻る]