講演抄録/キーワード |
講演名 |
2023-05-18 14:30
ジェスチャの自動生成におけるフェイクとリアルの判別 ○牟 耕・金子直史・鷲見和彦(青学大) PRMU2023-5 |
抄録 |
(和) |
近年,擬人化エージェントやロボットとのコミュニケーションにおいて,ジェスチャは非常に重要な役割を果たしている.これらの人工的な存在が人間との会話をする際に,ジェスチャを使うことでより自然なコミュニケーションを実現することが期待されている.しかし,これらのジェスチャを自動的に生成する技術が発展するにつれ,その生成されたジェスチャが不正な目的に悪用される可能性が高まっている.このような背景から本研究では,自動生成されたジェスチャ(フェイク)と人間が行ったジェスチャ(リアル)を判別する手法を提案する.具体的には,既存のデータ駆動ジェスチャ生成手法を利用して生成したフェイクジェスチャと,姿勢推定で取得したリアルジェスチャからなるデータセットを構築し,スケルトンベースの行動認識モデルを訓練することで,フェイクとリアルの判別を行う手法を提案する,異なる話し方をする25人251時間の音声,文字,画像情報から,3種類の最新のフェイクジェスチャ生成法を使って生成した学習データセットを用いて,行動認識のネットワークにReal/Fakeの判別問題として学習させたところ,未学習のフェイクジェスチャ生成アルゴリズムが生成したものを99.72%の精度で検出することに成功した.この手法により,ジェスチャ自動生成技術の進歩に伴って生じる悪用のリスクを軽減することが期待される. |
(英) |
In recent years, gestures play a crucial role in communication with anthropomorphized agents and robots. The use of gestures by these artificial entities during conversations with humans is expected to facilitate more natural communication. However, as technologies for automatically generating these gestures advance, there is an increasing risk of generated gestures being exploited for malicious purposes. In this context, this study proposes a method for distinguishing between automatically generated (fake) gestures and human-performed (real) gestures.Specifically, we have constructed a dataset consisting of fake gestures generated using existing data-driven gesture generation methods and real gestures obtained through pose estimation. By training a skeleton-based action recognition model on this dataset, we propose a method for distinguishing between fake and real gestures. Utilizing a learning dataset generated by three different fake gesture generation methods from 25 speakers with different speaking styles and 251 hours of audio, text, and image information, we trained the action recognition network as a real/fake discrimination problem. This approach successfully detected unlearned fake gestures generated by other algorithms with an accuracy of 99.72%. This approach is anticipated to mitigate the risk of misuse arising from the advancements in gesture generation technology, providing a foundation for safer and more authentic interactions in human-robot communication. |
キーワード |
(和) |
ディープフェイク検出 / ジェスチャ生成 / 生成モデル / 人間行動認識 / / / / |
(英) |
Deepfake detection / Gesture generation / Generative models / Human action recognition / / / / |
文献情報 |
信学技報, vol. 123, no. 30, PRMU2023-5, pp. 22-26, 2023年5月. |
資料番号 |
PRMU2023-5 |
発行日 |
2023-05-11 (PRMU) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
PRMU2023-5 |
研究会情報 |
研究会 |
PRMU IPSJ-CVIM |
開催期間 |
2023-05-18 - 2023-05-19 |
開催地(和) |
名古屋工業大学 |
開催地(英) |
|
テーマ(和) |
NeRF等のニューラルシーン表現 |
テーマ(英) |
|
講演論文情報の詳細 |
申込み研究会 |
PRMU |
会議コード |
2023-05-PRMU-CVIM |
本文の言語 |
日本語 |
タイトル(和) |
ジェスチャの自動生成におけるフェイクとリアルの判別 |
サブタイトル(和) |
|
タイトル(英) |
Discriminating between fake and real gestures in automatic gesture generation |
サブタイトル(英) |
|
キーワード(1)(和/英) |
ディープフェイク検出 / Deepfake detection |
キーワード(2)(和/英) |
ジェスチャ生成 / Gesture generation |
キーワード(3)(和/英) |
生成モデル / Generative models |
キーワード(4)(和/英) |
人間行動認識 / Human action recognition |
キーワード(5)(和/英) |
/ |
キーワード(6)(和/英) |
/ |
キーワード(7)(和/英) |
/ |
キーワード(8)(和/英) |
/ |
第1著者 氏名(和/英/ヨミ) |
牟 耕 / Geng Mu / ム コウ |
第1著者 所属(和/英) |
青山学院大学 (略称: 青学大)
Aoyama Gakuin University (略称: AGU) |
第2著者 氏名(和/英/ヨミ) |
金子 直史 / Nosh Kaneko / カネコ ナオシ |
第2著者 所属(和/英) |
青山学院大学 (略称: 青学大)
Aoyama Gakuin University (略称: AGU) |
第3著者 氏名(和/英/ヨミ) |
鷲見 和彦 / Kazuhiko Sumi / スミ カズヒコ |
第3著者 所属(和/英) |
青山学院大学 (略称: 青学大)
Aoyama Gakuin University (略称: AGU) |
第4著者 氏名(和/英/ヨミ) |
/ / |
第4著者 所属(和/英) |
(略称: )
(略称: ) |
第5著者 氏名(和/英/ヨミ) |
/ / |
第5著者 所属(和/英) |
(略称: )
(略称: ) |
第6著者 氏名(和/英/ヨミ) |
/ / |
第6著者 所属(和/英) |
(略称: )
(略称: ) |
第7著者 氏名(和/英/ヨミ) |
/ / |
第7著者 所属(和/英) |
(略称: )
(略称: ) |
第8著者 氏名(和/英/ヨミ) |
/ / |
第8著者 所属(和/英) |
(略称: )
(略称: ) |
第9著者 氏名(和/英/ヨミ) |
/ / |
第9著者 所属(和/英) |
(略称: )
(略称: ) |
第10著者 氏名(和/英/ヨミ) |
/ / |
第10著者 所属(和/英) |
(略称: )
(略称: ) |
第11著者 氏名(和/英/ヨミ) |
/ / |
第11著者 所属(和/英) |
(略称: )
(略称: ) |
第12著者 氏名(和/英/ヨミ) |
/ / |
第12著者 所属(和/英) |
(略称: )
(略称: ) |
第13著者 氏名(和/英/ヨミ) |
/ / |
第13著者 所属(和/英) |
(略称: )
(略称: ) |
第14著者 氏名(和/英/ヨミ) |
/ / |
第14著者 所属(和/英) |
(略称: )
(略称: ) |
第15著者 氏名(和/英/ヨミ) |
/ / |
第15著者 所属(和/英) |
(略称: )
(略称: ) |
第16著者 氏名(和/英/ヨミ) |
/ / |
第16著者 所属(和/英) |
(略称: )
(略称: ) |
第17著者 氏名(和/英/ヨミ) |
/ / |
第17著者 所属(和/英) |
(略称: )
(略称: ) |
第18著者 氏名(和/英/ヨミ) |
/ / |
第18著者 所属(和/英) |
(略称: )
(略称: ) |
第19著者 氏名(和/英/ヨミ) |
/ / |
第19著者 所属(和/英) |
(略称: )
(略称: ) |
第20著者 氏名(和/英/ヨミ) |
/ / |
第20著者 所属(和/英) |
(略称: )
(略称: ) |
第21著者 氏名(和/英/ヨミ) |
/ / |
第21著者 所属(和/英) |
(略称: )
(略称: ) |
第22著者 氏名(和/英/ヨミ) |
/ / |
第22著者 所属(和/英) |
(略称: )
(略称: ) |
第23著者 氏名(和/英/ヨミ) |
/ / |
第23著者 所属(和/英) |
(略称: )
(略称: ) |
第24著者 氏名(和/英/ヨミ) |
/ / |
第24著者 所属(和/英) |
(略称: )
(略称: ) |
第25著者 氏名(和/英/ヨミ) |
/ / |
第25著者 所属(和/英) |
(略称: )
(略称: ) |
第26著者 氏名(和/英/ヨミ) |
/ / |
第26著者 所属(和/英) |
(略称: )
(略称: ) |
第27著者 氏名(和/英/ヨミ) |
/ / |
第27著者 所属(和/英) |
(略称: )
(略称: ) |
第28著者 氏名(和/英/ヨミ) |
/ / |
第28著者 所属(和/英) |
(略称: )
(略称: ) |
第29著者 氏名(和/英/ヨミ) |
/ / |
第29著者 所属(和/英) |
(略称: )
(略称: ) |
第30著者 氏名(和/英/ヨミ) |
/ / |
第30著者 所属(和/英) |
(略称: )
(略称: ) |
第31著者 氏名(和/英/ヨミ) |
/ / |
第31著者 所属(和/英) |
(略称: )
(略称: ) |
第32著者 氏名(和/英/ヨミ) |
/ / |
第32著者 所属(和/英) |
(略称: )
(略称: ) |
第33著者 氏名(和/英/ヨミ) |
/ / |
第33著者 所属(和/英) |
(略称: )
(略称: ) |
第34著者 氏名(和/英/ヨミ) |
/ / |
第34著者 所属(和/英) |
(略称: )
(略称: ) |
第35著者 氏名(和/英/ヨミ) |
/ / |
第35著者 所属(和/英) |
(略称: )
(略称: ) |
第36著者 氏名(和/英/ヨミ) |
/ / |
第36著者 所属(和/英) |
(略称: )
(略称: ) |
講演者 |
第1著者 |
発表日時 |
2023-05-18 14:30:00 |
発表時間 |
15分 |
申込先研究会 |
PRMU |
資料番号 |
PRMU2023-5 |
巻番号(vol) |
vol.123 |
号番号(no) |
no.30 |
ページ範囲 |
pp.22-26 |
ページ数 |
5 |
発行日 |
2023-05-11 (PRMU) |