| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-03-17 11:10 アバタ・アニメーションのためのデータ収集ツールと分析 ○宮脇亮輔・ペルスキア エルナンデス モニカ・磯山直也・内山英昭・清川 清（奈良先端大）  IMQ2022-72 IE2022-149 MVE2022-102 |
|
| 抄録 | （和） | アバタ・アニメーションにおいて音声の特徴を知覚的に伝達するためには正確な顔の表現が必要である．近年，コンピュータビジョンを用いたデータ駆動型の手法により，顔の動きと発話との関係を推測する試みがなされてきている．われわれはアバタのアニメーションへより直接的・簡単に適用できる blendshape ベースのトラッキングを用いて，異なる発話音量レベルと顔の動きの関係性を調査した．結果として，異なる発話音量においては鼻・頬・口・頭部ピッチに違いが認められ，これらはアニメーションにおいて重要な部位であることが示唆された．そしてわれわれが実際に用いた，音声・映像・顔の動きのデータ収集のための実験プロトコルと，データ収集と同期を支援するウェブ上で動作するツールを併せて紹介する．本稿ではこの収集ツールに加えて，6 名の日本人参加者が異なる音量で感情に関する文章を読んだデータベースも提供する． |
| （英） | Accurate facial displays are necessary to convey perceptual speech characteristics in avatar animations. Recently, data-driven methods using computer vision have been used to infer the relationship between facial movements and speech. We investigated the relationship between different speech volume levels and facial movements using blendshape-based tracking, which can be applied more directly and easily to an avatar animation. We found differences in facial movement around the nose, cheek, mouth, and head pitch at different speech volume levels, suggesting these are essential parts of the animation. We also present our experimental protocol for collecting speech audio, facial video, and blendshape-based facial movement data, as well as a WEB-based tool to support data collection and synchronization. In addition to this collection tool, we also provide a database of six Japanese participants reading emotion-related scripts at different volume levels. | |
| キーワード | （和） | マルチモーダル・データ収集 / 顔面運動分析 / オープンソース・ツール / 3D アバタ・アニメーション / / / / |
| （英） | Multimodal data collection / facial movement analysis / open-source tool / 3D avatar animation / / / / | |
| 文献情報 | 信学技報, vol. 122, no. 440, MVE2022-102, pp. 266-271, 2023年3月. | |
| 資料番号 | MVE2022-102 | |
| 発行日 | 2023-03-08 (IMQ, IE, MVE) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IMQ2022-72 IE2022-149 MVE2022-102 |
|
| 研究会情報 | |
| 研究会 | IMQ IE MVE CQ |
| 開催期間 | 2023-03-15 - 2023-03-17 |
| 開催地（和） | 沖縄県青年会館（那覇市） |
| 開催地（英） | Okinawaken Seinenkaikan (Naha-shi) |
| テーマ（和） | 五感に訴えるオンラインメディアとその評価，および一般（魅力工学研究会協賛） |
| テーマ（英） | Media of five senses, Multimedia, Media experience, Picture codinge, Image media quality, Network,quality and reliability, etc（AC） |
| 講演論文情報の詳細 | |
| 申込み研究会 | MVE |
| 会議コード | 2023-03-IMQ-IE-MVE-CQ |
| 本文の言語 | 英語（日本語タイトルあり） |
| タイトル（和） | アバタ・アニメーションのためのデータ収集ツールと分析 |
| サブタイトル（和） | |
| タイトル（英） | A Data Collection Protocol, Tool and Analysis for Avatar Facial Animation |
| サブタイトル（英） | |
| キーワード(1)（和/英） | マルチモーダル・データ収集 / Multimodal data collection |
| キーワード(2)（和/英） | 顔面運動分析 / facial movement analysis |
| キーワード(3)（和/英） | オープンソース・ツール / open-source tool |
| キーワード(4)（和/英） | 3D アバタ・アニメーション / 3D avatar animation |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 宮脇 亮輔 / Ryosuke Miyawaki / ミヤワキ リョウスケ |
| 第1著者 所属（和/英） | 奈良先端科学技術大学院大学 (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 第2著者 氏名（和/英/ヨミ） | ペルスキア エルナンデス モニカ / Monica Perusquia-Hernandez / ペルスキア エルナンデス モニカ |
| 第2著者 所属（和/英） | 奈良先端科学技術大学院大学 (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 第3著者 氏名（和/英/ヨミ） | 磯山 直也 / Naoya Isoyama / イソヤマ ナオヤ |
| 第3著者 所属（和/英） | 奈良先端科学技術大学院大学 (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 第4著者 氏名（和/英/ヨミ） | 内山 英昭 / Hideaki Uchiyama / ウチヤマ ヒデアキ |
| 第4著者 所属（和/英） | 奈良先端科学技術大学院大学 (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 第5著者 氏名（和/英/ヨミ） | 清川 清 / Kiyoshi Kiyokawa / キヨカワ キヨシ |
| 第5著者 所属（和/英） | 奈良先端科学技術大学院大学 (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-03-17 11:10:00 |
| 発表時間 | 25分 |
| 申込先研究会 | MVE |
| 資料番号 | IMQ2022-72, IE2022-149, MVE2022-102 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | no.437(IMQ), no.439(IE), no.440(MVE) |
| ページ範囲 | pp.266-271 |
| ページ数 | 6 |
| 発行日 | 2023-03-08 (IMQ, IE, MVE) |
[研究会発表申込システムのトップページに戻る]