講演抄録/キーワード |
講演名 |
2021-03-02 16:05
StyleGANに基づく顔動作の感情変換 ○竹内至生・中澤篤志(京大) IMQ2020-26 IE2020-66 MVE2020-58 |
抄録 |
(和) |
人が話すとき,表情に現れる感情は対話相手の印象を大きく左右する. また,動画投稿サイトやオンデマンド講義など社会には話している人の動画が多く存在するため, 顔動作の感情を変換することには応用的な価値がある.
顔動作の感情変換に当たっては,発話内容は変換の前後で変わらないこと望まれる. このような,意味的な内容を保存しつつスタイルを変換する技術は「スタイル変換」と呼ばれ,研究が進んでいる.
スタイル変換技術は近年の深層学習の発展に伴って進歩を遂げているが,表情の感情変換については静止画を対象とする研究がほとんどである. しかし,人の表情は顔動作の中に強く現れるため,時系列データを扱うことの実用的価値は大きい. そこで,本研究では顔動作の感情変換を目的とする.
スタイルを扱う技術のうち,StyleGANと呼ばれる手法では,スタイルを連続パラメータ空間上の点として埋め込み,そのパラメータをもとにスタイルの制御を実現した. 本研究ではこの枠組みを利用し,顔動作の感情変換手法を提案する.
入出力データとしては顔特徴点群を用い,データの低ランク性を考慮して次元圧縮を取り入れる. |
(英) |
The facial expression, especially its emotion, has a great influence on audiences' impression.
With an increasing number of speaking movies such as on-demand lectures and video sharing sites, transferring emotion for facial motion is an applicated valuable technique.
Emotion transfer can be regarded as a Style Transfer task. It transfers Style: marginal information while preserving Content: semantic information.
We utilized StyleGANcite{karras2019style} architecture to realize emotion transfer. Facial Motion is represented as a set of facial landmarks.
Using facial landmarks' row rank structure, we realize the natural transform of facial motions. |
キーワード |
(和) |
スタイル変換 / 感情変換 / 顔動作 / 表情変換 / 表情 / 動作変換 / / |
(英) |
Style Transfer / Emotion Transfer / Facial Expression / Facial Motion / Motion Transfer / / / |
文献情報 |
信学技報, vol. 120, no. 391, MVE2020-58, pp. 76-81, 2021年3月. |
資料番号 |
MVE2020-58 |
発行日 |
2021-02-22 (IMQ, IE, MVE) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
IMQ2020-26 IE2020-66 MVE2020-58 |
研究会情報 |
研究会 |
MVE IMQ IE CQ |
開催期間 |
2021-03-01 - 2021-03-03 |
開催地(和) |
オンライン開催(崇城大学から変更) |
開催地(英) |
Online |
テーマ(和) |
五感に訴えるオンラインメディアとその評価,および一般 (魅力工学(AC)研究会協賛) |
テーマ(英) |
|
講演論文情報の詳細 |
申込み研究会 |
MVE |
会議コード |
2021-03-MVE-IMQ-IE-CQ |
本文の言語 |
日本語 |
タイトル(和) |
StyleGANに基づく顔動作の感情変換 |
サブタイトル(和) |
|
タイトル(英) |
StyleGAN-based Emotion Transfer for Facial Motions |
サブタイトル(英) |
|
キーワード(1)(和/英) |
スタイル変換 / Style Transfer |
キーワード(2)(和/英) |
感情変換 / Emotion Transfer |
キーワード(3)(和/英) |
顔動作 / Facial Expression |
キーワード(4)(和/英) |
表情変換 / Facial Motion |
キーワード(5)(和/英) |
表情 / Motion Transfer |
キーワード(6)(和/英) |
動作変換 / |
キーワード(7)(和/英) |
/ |
キーワード(8)(和/英) |
/ |
第1著者 氏名(和/英/ヨミ) |
竹内 至生 / Shiki Takeuchi / タケウチ シキ |
第1著者 所属(和/英) |
京都大学 (略称: 京大)
Kyoto University (略称: Kyoto Univ.) |
第2著者 氏名(和/英/ヨミ) |
中澤 篤志 / Atsushi Nakazawa / ナカザワ アツシ |
第2著者 所属(和/英) |
京都大学 (略称: 京大)
Kyoto University (略称: Kyoto Univ.) |
第3著者 氏名(和/英/ヨミ) |
/ / |
第3著者 所属(和/英) |
(略称: )
(略称: ) |
第4著者 氏名(和/英/ヨミ) |
/ / |
第4著者 所属(和/英) |
(略称: )
(略称: ) |
第5著者 氏名(和/英/ヨミ) |
/ / |
第5著者 所属(和/英) |
(略称: )
(略称: ) |
第6著者 氏名(和/英/ヨミ) |
/ / |
第6著者 所属(和/英) |
(略称: )
(略称: ) |
第7著者 氏名(和/英/ヨミ) |
/ / |
第7著者 所属(和/英) |
(略称: )
(略称: ) |
第8著者 氏名(和/英/ヨミ) |
/ / |
第8著者 所属(和/英) |
(略称: )
(略称: ) |
第9著者 氏名(和/英/ヨミ) |
/ / |
第9著者 所属(和/英) |
(略称: )
(略称: ) |
第10著者 氏名(和/英/ヨミ) |
/ / |
第10著者 所属(和/英) |
(略称: )
(略称: ) |
第11著者 氏名(和/英/ヨミ) |
/ / |
第11著者 所属(和/英) |
(略称: )
(略称: ) |
第12著者 氏名(和/英/ヨミ) |
/ / |
第12著者 所属(和/英) |
(略称: )
(略称: ) |
第13著者 氏名(和/英/ヨミ) |
/ / |
第13著者 所属(和/英) |
(略称: )
(略称: ) |
第14著者 氏名(和/英/ヨミ) |
/ / |
第14著者 所属(和/英) |
(略称: )
(略称: ) |
第15著者 氏名(和/英/ヨミ) |
/ / |
第15著者 所属(和/英) |
(略称: )
(略称: ) |
第16著者 氏名(和/英/ヨミ) |
/ / |
第16著者 所属(和/英) |
(略称: )
(略称: ) |
第17著者 氏名(和/英/ヨミ) |
/ / |
第17著者 所属(和/英) |
(略称: )
(略称: ) |
第18著者 氏名(和/英/ヨミ) |
/ / |
第18著者 所属(和/英) |
(略称: )
(略称: ) |
第19著者 氏名(和/英/ヨミ) |
/ / |
第19著者 所属(和/英) |
(略称: )
(略称: ) |
第20著者 氏名(和/英/ヨミ) |
/ / |
第20著者 所属(和/英) |
(略称: )
(略称: ) |
講演者 |
第1著者 |
発表日時 |
2021-03-02 16:05:00 |
発表時間 |
25分 |
申込先研究会 |
MVE |
資料番号 |
IMQ2020-26, IE2020-66, MVE2020-58 |
巻番号(vol) |
vol.120 |
号番号(no) |
no.389(IMQ), no.390(IE), no.391(MVE) |
ページ範囲 |
pp.76-81 |
ページ数 |
6 |
発行日 |
2021-02-22 (IMQ, IE, MVE) |
|