| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2024-10-31 13:20 顔のランドマークの時空間情報を用いた Deepfake Detector 内野隼汰（青学大）・金子直史（東京電機大）・○鷲見和彦（青学大）  BioX2024-73 |
|
| 抄録 | （和） | 本研究では，顔の静止画ではなく，顔の特徴点(ランドマーク) の動きの時空間情報を利用してフェイク動画を検出する偽動画検出器(deepfake detector) を提案する．ベースモデルとして牟らのジェスチャからのdeepfake detector を利用する．これまでのdeepfake detector は，画像分類モデルを利用して顔画像のパターンから真贋判定を行う手法が主流であったが，提案手法では，talking head generation モデルIP-LAP を用いてスピーチデータセットLRS2 からfake detaset を作成し，実在する発話データセット(real) とfake dataset とに対して顔のランドマークの抽出と，それに続く行動認識モデルを用いてreal とfake との2 クラス識別器を学習した．その結果，IP-LAP で作成されたデータセットではテストデータに対して高精度の結果を出力した．現状ではIP-LAP 以外の手法で人工的に作られた動画に対しては高い汎化性能を示すことが出来なかったが，顔の特徴点の動きを使うdeepfake detector が顔の静止画情報を使う手法に対する補完的な手法として有望であることが示された． |
| （英） | This study proposes a deepfake detector that detects fake videos by using spatio-temporal information on the motion of landmarks that represent facial feature points. The method by Mu is used as the base model. In the proposed method, we use action classification model as the detector. As for dataset preparation, We created a fake dataset of the speech dataset LRS2 using the Talking Head Generation model IP-LAP. Next, we extracted facial landmarks from the real speech dataset (real) and the fake dataset using a human posture estimation model, and trained motion classification model. As a result, the dataset created by IP-LAP produced highly accurate results on the test data. Although proposed method did not show high generalization performance for videos artificially created by methods other than IP-LAP, the results suggest that the motion-based deepfake detector is promising as a complementary method to methods that use still image information of faces. | |
| キーワード | （和） | 発話映像生成 / 顔特徴点 / 真贋判定 / 時空間動き解析 / / / / |
| （英） | Talking Head / Face Landmarks / Fake Detection / Spatio-temporal Motion Analysis / / / / | |
| 文献情報 | 信学技報, vol. 124, no. 226, BioX2024-73, pp. 7-12, 2024年10月. | |
| 資料番号 | BioX2024-73 | |
| 発行日 | 2024-10-24 (BioX) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | BioX2024-73 |
|
| 研究会情報 | |
| 研究会 | BioX |
| 開催期間 | 2024-10-31 - 2024-11-01 |
| 開催地（和） | 未来創造センター（宮古島） |
| 開催地（英） | Miraisozo Center (Miyako) |
| テーマ（和） | バイオメトリクス一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | BioX |
| 会議コード | 2024-10-BioX |
| 本文の言語 | 日本語 |
| タイトル（和） | 顔のランドマークの時空間情報を用いた Deepfake Detector |
| サブタイトル（和） | |
| タイトル（英） | Spatio-temporal Face Landmark Analysis for Deepfake Detection |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 発話映像生成 / Talking Head |
| キーワード(2)（和/英） | 顔特徴点 / Face Landmarks |
| キーワード(3)（和/英） | 真贋判定 / Fake Detection |
| キーワード(4)（和/英） | 時空間動き解析 / Spatio-temporal Motion Analysis |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 内野 隼汰 / Shunta Uchino / ウチノ シュンタ |
| 第1著者 所属（和/英） | 青山学院大学 (略称： 青学大) Aoyama Gakuin University (略称： Aoyama Gakuin University) |
| 第2著者 氏名（和/英/ヨミ） | 金子 直史 / Naoshi Kaneko / カネコ ナオシ |
| 第2著者 所属（和/英） | 東京電機大学 (略称： 東京電機大) Tokyo Denki University (略称： Tokyo Denki University) |
| 第3著者 氏名（和/英/ヨミ） | 鷲見 和彦 / Kazuhiko Sumi / スミ カズヒコ |
| 第3著者 所属（和/英） | 青山学院大学 (略称： 青学大) Aoyama Gakuin University (略称： Aoyama Gakuin University) |
| 講演者 | 第3著者 |
| 発表日時 | 2024-10-31 13:20:00 |
| 発表時間 | 20分 |
| 申込先研究会 | BioX |
| 資料番号 | BioX2024-73 |
| 巻番号（vol） | vol.124 |
| 号番号（no） | no.226 |
| ページ範囲 | pp.7-12 |
| ページ数 | 6 |
| 発行日 | 2024-10-24 (BioX) |
[研究会発表申込システムのトップページに戻る]