| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2016-09-16 15:30 Animation Unitを用いたHMM・DNNによるテキストからのフォトリアリスティック顔動画像合成におけるカラー化の検討 ○佐藤一樹・能勢 隆・伊藤彰則（東北大）  LOIS2016-27 IE2016-64 EMM2016-53 |
|
| 抄録 | （和） | 我々はこれまで，フォトリアリスティックな対話エージェント実現に向けたテキストからの顔動画像合成の手法として，Kinectによる顔特徴量を利用した隠れマルコフモデル (HMM) に基づく顔動画像合成手法を提案してきた．提案法では、Kinect を用いることで取得できる顔の各部位の状態を表した Animation Unit (AU) パラメータを顔画像特徴量とし，HMM 音声合成と同様の枠組みで任意のテキストから顔画像特徴量の合成を行う．そして生成された特徴量系列を Deep Neural Network (DNN) を用いて輝度値系列へと変換することでテキストからの顔動画像合成を実現する．本稿では，提案法において未検討であったカラー化について検討を行う．具体的には，提案法に基づいてカラーで顔動画像合成を行う際に HMM，DNN の最適な学習条件について検討し，主成分分析に基づく従来法と提案法のそれぞれに対して客観評価，主観評価を行って提案手法の有用性を示す． |
| （英） | We propose a technique for synthesizing photo-realistic facial animation from a text based on hidden Markov model (HMM) and deep neural network (DNN) with facial features for an interactive agent implementation. In the proposed technique, we use Animation Units (AUs) as facial features that express the state of each part of face and can be obtained by Kinect. We synthesize facial features from any text using the same framework as the HMM-based speech synthesis. Facial features are generated from an HMM and are converted into intensities of pixels using DNN. In this paper, we investigated colorization of the image that was not investigated yet. Besides, we investigated appropriate conditions for training of HMM and DNN when we synthesize color facial animation by the proposed method. Then, we performed an objective and a subjective evaluation to compare the proposed technique with the conventional technique based on the principal component analysis (PCA). | |
| キーワード | （和） | フォトリアリスティック顔動画 / 顔画像合成 / 隠れマルコフモデル / Deep Neural Network / Kinect / Animation Unit / / |
| （英） | Photo-realistic facial animation / face image synthesis / hidden Markov model / Deep Neural Network / Kinect / Animation Unit / / | |
| 文献情報 | 信学技報, vol. 116, no. 222, EMM2016-53, pp. 67-72, 2016年9月. | |
| 資料番号 | EMM2016-53 | |
| 発行日 | 2016-09-08 (LOIS, IE, EMM) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | LOIS2016-27 IE2016-64 EMM2016-53 |
|
| 研究会情報 | |
| 研究会 | ITE-ME IE EMM LOIS IEE-CMN |
| 開催期間 | 2016-09-15 - 2016-09-16 |
| 開催地（和） | 愛知県立大学(長久手キャンパス) |
| 開催地（英） | Aichi Prefectural University |
| テーマ（和） | マルチメディア通信/システム，ライフログ活用技術，IP放送/映像伝送，メディアセキュリティ，一般 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | EMM |
| 会議コード | 2016-09-ME-IE-EMM-LOIS-CMN |
| 本文の言語 | 日本語 |
| タイトル（和） | Animation Unitを用いたHMM・DNNによるテキストからのフォトリアリスティック顔動画像合成におけるカラー化の検討 |
| サブタイトル（和） | |
| タイトル（英） | A Study on Colorization in Photo-Realistic Facial Animation Synthesis from Text Based on HMM and DNN with Animation Unit |
| サブタイトル（英） | |
| キーワード(1)（和/英） | フォトリアリスティック顔動画 / Photo-realistic facial animation |
| キーワード(2)（和/英） | 顔画像合成 / face image synthesis |
| キーワード(3)（和/英） | 隠れマルコフモデル / hidden Markov model |
| キーワード(4)（和/英） | Deep Neural Network / Deep Neural Network |
| キーワード(5)（和/英） | Kinect / Kinect |
| キーワード(6)（和/英） | Animation Unit / Animation Unit |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 佐藤 一樹 / Kazuki Sato / サトウ カズキ |
| 第1著者 所属（和/英） | 東北大学 (略称： 東北大) Tohoku University (略称： Tohoku Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 能勢 隆 / Takashi Nose / ノセ タカシ |
| 第2著者 所属（和/英） | 東北大学 (略称： 東北大) Tohoku University (略称： Tohoku Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 伊藤 彰則 / Akinori Ito / イトウ アキノリ |
| 第3著者 所属（和/英） | 東北大学 (略称： 東北大) Tohoku University (略称： Tohoku Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2016-09-16 15:30:00 |
| 発表時間 | 30分 |
| 申込先研究会 | EMM |
| 資料番号 | LOIS2016-27, IE2016-64, EMM2016-53 |
| 巻番号（vol） | vol.116 |
| 号番号（no） | no.220(LOIS), no.221(IE), no.222(EMM) |
| ページ範囲 | pp.67-72 |
| ページ数 | 6 |
| 発行日 | 2016-09-08 (LOIS, IE, EMM) |
[研究会発表申込システムのトップページに戻る]