| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2020-03-06 11:35 【オンライン】人物の自己遮蔽を考慮した少量の静止画像列からの動作クローン映像生成 ○堤 哲平・中村和晃・明神聖子・新田直子・馬場口 登（阪大）  IMQ2019-58 IE2019-140 MVE2019-79 |
|
| 抄録 | （和） | 本稿では，ある人物Aの動作映像（リファレンス映像）1本と，別の人物Bの静止画像（ターゲット画像） 少数枚のみを入力として，人物Aの動作をあたかも人物Bが再現しているかのような映像（動作クローン映像）を生 成する手法を提案する．単一のターゲット画像を変形することで動作クローン映像を生成する従来手法では，自己遮 蔽が生じる動作はうまく再現できず，また，回転を伴う動作など，元々のターゲット画像に写っていない部位のテク スチャを生成する必要があるケースには原理的に対処できない，という問題がある．提案手法では，人物の身体を複 数の部位に分け，部位ごとに異なる2次元アフィン変換を用いてターゲット画像を変形することにより，自己遮蔽の 問題に対処する．また，回転等を伴う動作に対しては，複数枚のターゲット画像から個別に生成した動作クローン映 像を畳込みニューラルネットワークにより統合することで対処する．実験の結果，提案手法により，自己遮蔽を伴う 動作と回転を伴う動作の双方に対して，ある程度の品質で動作クローン映像を生成できることを確認した． |
| （英） | In this paper, we propose a method for generating photo-realistic video in which a person virtually performs a motion that is not performed in the real world. We refer to such video as video of cloned motion, abbreviated as VCM. The proposed method requires only two kinds of source data: a reference video, in which a person A performs some motion, and several target images, which include the whole body of another person B. Using these data, our method generates a VCM in which the person A's motion is re-enacted by the person B's body. There is an existing method that only deforming a single target image to generate a VCM. However, this method has two problems: First, it cannot handle the self-occlusion of the human body. Second, it cannot generate the texture of the body surfaces that are invisible in the target image. Our method copes with the first problem by dividing the human body into multiple parts and deforming the target image part-by-part using part-wise 2D affine transforms. Moreover, to cope with the second problem, we use a convolutional neural network to combine multiple VCMs each of which is separately generated from a single target image. Our experimental results show the robustness of the proposed method to the above two problems. | |
| キーワード | （和） | リファレンス映像 / ターゲット画像 / 動作クローン映像 / 自己遮蔽 / 2次元アフィン変換 / 畳込みニューラルネットワーク / / |
| （英） | reference video / target image / video of cloned motion / self-occlusion / 2D affine transform / convolutional neural network / / | |
| 文献情報 | 信学技報, vol. 119, no. 457, MVE2019-79, pp. 221-226, 2020年3月. | |
| 資料番号 | MVE2019-79 | |
| 発行日 | 2020-02-27 (IMQ, IE, MVE) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IMQ2019-58 IE2019-140 MVE2019-79 |
|
| 研究会情報 | |
| 研究会 | IE IMQ MVE CQ |
| 開催期間 | 2020-03-05 - 2020-03-06 |
| 開催地（和） | 九州工業大学 戸畑キャンパス |
| 開催地（英） | Kyushu Institute of Technology |
| テーマ（和） | 五感メディア，マルチメディア，メディアエクスペリエンス， 映像符号化，イメージメディアの品質，ネットワークの品質 および信頼性，一般 （魅力工学（AC）研究会協賛） |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | MVE |
| 会議コード | 2020-03-IE-IMQ-MVE-CQ |
| 本文の言語 | 日本語 |
| タイトル（和） | 【オンライン】人物の自己遮蔽を考慮した少量の静止画像列からの動作クローン映像生成 |
| サブタイトル（和） | |
| タイトル（英） | Generating Video of Cloned Motion from a Short Sequence of Still Images Considering Self-Occlusion of Human Body |
| サブタイトル（英） | |
| キーワード(1)（和/英） | リファレンス映像 / reference video |
| キーワード(2)（和/英） | ターゲット画像 / target image |
| キーワード(3)（和/英） | 動作クローン映像 / video of cloned motion |
| キーワード(4)（和/英） | 自己遮蔽 / self-occlusion |
| キーワード(5)（和/英） | 2次元アフィン変換 / 2D affine transform |
| キーワード(6)（和/英） | 畳込みニューラルネットワーク / convolutional neural network |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 堤 哲平 / Tsutsumi Teppei / ツツミ テッペイ |
| 第1著者 所属（和/英） | 大阪大学 (略称： 阪大) Osaka University (略称： Osaka Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 中村 和晃 / Kazuaki Nakamura / ナカムラ カズアキ |
| 第2著者 所属（和/英） | 大阪大学 (略称： 阪大) Osaka University (略称： Osaka Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 明神 聖子 / Seiko Myojin / ミョウジン セイコ |
| 第3著者 所属（和/英） | 大阪大学 (略称： 阪大) Osaka University (略称： Osaka Univ.) |
| 第4著者 氏名（和/英/ヨミ） | 新田 直子 / Naoko Nitta / ニッタ ナオコ |
| 第4著者 所属（和/英） | 大阪大学 (略称： 阪大) Osaka University (略称： Osaka Univ.) |
| 第5著者 氏名（和/英/ヨミ） | 馬場口 登 / Noboru Babaguchi / ババグチ ノボル |
| 第5著者 所属（和/英） | 大阪大学 (略称： 阪大) Osaka University (略称： Osaka Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2020-03-06 11:35:00 |
| 発表時間 | 25分 |
| 申込先研究会 | MVE |
| 資料番号 | IMQ2019-58, IE2019-140, MVE2019-79 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | no.454(IMQ), no.456(IE), no.457(MVE) |
| ページ範囲 | pp.221-226 |
| ページ数 | 6 |
| 発行日 | 2020-02-27 (IMQ, IE, MVE) |
[研究会発表申込システムのトップページに戻る]