お知らせ 2023年度・2024年度 学生員 会費割引キャンペーン実施中です
お知らせ 技術研究報告と和文論文誌Cの同時投稿施策(掲載料1割引き)について
お知らせ 電子情報通信学会における研究会開催について
お知らせ NEW 参加費の返金について
電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
[ログイン]
技報アーカイブ
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2021-03-02 16:05
StyleGANに基づく顔動作の感情変換
竹内至生中澤篤志京大IMQ2020-26 IE2020-66 MVE2020-58
抄録 (和) 人が話すとき,表情に現れる感情は対話相手の印象を大きく左右する. また,動画投稿サイトやオンデマンド講義など社会には話している人の動画が多く存在するため, 顔動作の感情を変換することには応用的な価値がある.
顔動作の感情変換に当たっては,発話内容は変換の前後で変わらないこと望まれる. このような,意味的な内容を保存しつつスタイルを変換する技術は「スタイル変換」と呼ばれ,研究が進んでいる.
スタイル変換技術は近年の深層学習の発展に伴って進歩を遂げているが,表情の感情変換については静止画を対象とする研究がほとんどである. しかし,人の表情は顔動作の中に強く現れるため,時系列データを扱うことの実用的価値は大きい. そこで,本研究では顔動作の感情変換を目的とする.
スタイルを扱う技術のうち,StyleGANと呼ばれる手法では,スタイルを連続パラメータ空間上の点として埋め込み,そのパラメータをもとにスタイルの制御を実現した. 本研究ではこの枠組みを利用し,顔動作の感情変換手法を提案する.
入出力データとしては顔特徴点群を用い,データの低ランク性を考慮して次元圧縮を取り入れる. 
(英) The facial expression, especially its emotion, has a great influence on audiences' impression.
With an increasing number of speaking movies such as on-demand lectures and video sharing sites, transferring emotion for facial motion is an applicated valuable technique.
Emotion transfer can be regarded as a Style Transfer task. It transfers Style: marginal information while preserving Content: semantic information.
We utilized StyleGANcite{karras2019style} architecture to realize emotion transfer. Facial Motion is represented as a set of facial landmarks.
Using facial landmarks' row rank structure, we realize the natural transform of facial motions.
キーワード (和) スタイル変換 / 感情変換 / 顔動作 / 表情変換 / 表情 / 動作変換 / /  
(英) Style Transfer / Emotion Transfer / Facial Expression / Facial Motion / Motion Transfer / / /  
文献情報 信学技報, vol. 120, no. 391, MVE2020-58, pp. 76-81, 2021年3月.
資料番号 MVE2020-58 
発行日 2021-02-22 (IMQ, IE, MVE) 
ISSN Online edition: ISSN 2432-6380
著作権に
ついて
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034)
PDFダウンロード IMQ2020-26 IE2020-66 MVE2020-58

研究会情報
研究会 MVE IMQ IE CQ  
開催期間 2021-03-01 - 2021-03-03 
開催地(和) オンライン開催(崇城大学から変更) 
開催地(英) Online 
テーマ(和) 五感に訴えるオンラインメディアとその評価,および一般 (魅力工学(AC)研究会協賛) 
テーマ(英)  
講演論文情報の詳細
申込み研究会 MVE 
会議コード 2021-03-MVE-IMQ-IE-CQ 
本文の言語 日本語 
タイトル(和) StyleGANに基づく顔動作の感情変換 
サブタイトル(和)  
タイトル(英) StyleGAN-based Emotion Transfer for Facial Motions 
サブタイトル(英)  
キーワード(1)(和/英) スタイル変換 / Style Transfer  
キーワード(2)(和/英) 感情変換 / Emotion Transfer  
キーワード(3)(和/英) 顔動作 / Facial Expression  
キーワード(4)(和/英) 表情変換 / Facial Motion  
キーワード(5)(和/英) 表情 / Motion Transfer  
キーワード(6)(和/英) 動作変換 /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 竹内 至生 / Shiki Takeuchi / タケウチ シキ
第1著者 所属(和/英) 京都大学 (略称: 京大)
Kyoto University (略称: Kyoto Univ.)
第2著者 氏名(和/英/ヨミ) 中澤 篤志 / Atsushi Nakazawa / ナカザワ アツシ
第2著者 所属(和/英) 京都大学 (略称: 京大)
Kyoto University (略称: Kyoto Univ.)
第3著者 氏名(和/英/ヨミ) / /
第3著者 所属(和/英) (略称: )
(略称: )
第4著者 氏名(和/英/ヨミ) / /
第4著者 所属(和/英) (略称: )
(略称: )
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者 第1著者 
発表日時 2021-03-02 16:05:00 
発表時間 25分 
申込先研究会 MVE 
資料番号 IMQ2020-26, IE2020-66, MVE2020-58 
巻番号(vol) vol.120 
号番号(no) no.389(IMQ), no.390(IE), no.391(MVE) 
ページ範囲 pp.76-81 
ページ数
発行日 2021-02-22 (IMQ, IE, MVE) 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会