| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-11-17 09:20 変分自己符号化器を用いた発話時の動作生成の研究 ○賈 辰一・篠田浩一（東工大）  PRMU2023-29 |
|
| 抄録 | （和） | 発話時の動作生成は, 発話音声に対応するジェスチャーを生成する研究である. 従来研究の手法は大きく分けて二つある．決定論的手法は音声と動作の一対一の写像を学習させ, 確率論的手法は音声から動作の生成確率をモデル化する. 前者は確実に音声に忠実な動作を推論することができるが, 一つの音声から一つの動作しか生成しない. 後者は多様な動作生成ができるが、音声に対して忠実でない動作が生成されうる. 本稿では, 確率論的な手法の一つである変分自己符号化器において, 話者のIDを与えた訓練で動作の個人性を学習させ, さらにランダム化の処理を施す手法を提案する. 変分自己符号化器を用いて評価したFIDが52.8%向上し, またより多様な動作生成に成功した. |
| （英） | Co-speech gesture generation is the study of generating gestures from speech. In prior works, deterministic methods learn a one-to-one mapping between speech and motion, and probabilistic methods model the probability of motions. While the former can infer the motion corresponding to the speech, it only generates one motion. In contrast, the latter can generate many motions, but it generates motions that don't match the speech. In this paper, we will propose the probabilistic method by training VAE with the speaker's information and randomizing it. Consequently, the fidelity of VAE is improved, and it can generate more diverse motions. |
|
| キーワード | （和） | 発話時動作生成 / 身体動作生成 / 変分自己符号化器 / 事前学習 / スケルトン / グラフ畳み込みニューラルネットワーク / / |
| （英） | Co-speech gesture generation, / Human motion synthesis / Variational auto encoder / Pre-training / Skeleton / Graph Convolutional Neural Network / / | |
| 文献情報 | 信学技報, vol. 123, no. 266, PRMU2023-29, pp. 74-79, 2023年11月. | |
| 資料番号 | PRMU2023-29 | |
| 発行日 | 2023-11-09 (PRMU) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | PRMU2023-29 |
|
| 研究会情報 | |
| 研究会 | PRMU IPSJ-CVIM IPSJ-DCC IPSJ-CGVI |
| 開催期間 | 2023-11-16 - 2023-11-17 |
| 開催地（和） | 鳥取県立生涯学習センター（県民ふれあい会館） |
| 開催地（英） | |
| テーマ（和） | 人を表現・理解するためのCG/DCC/CV/PR技術 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | PRMU |
| 会議コード | 2023-11-PRMU-CVIM-DCC-CGVI |
| 本文の言語 | 日本語 |
| タイトル（和） | 変分自己符号化器を用いた発話時の動作生成の研究 |
| サブタイトル（和） | |
| タイトル（英） | Co-speech Gesture Generation with Variational Auto Encoder |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 発話時動作生成 / Co-speech gesture generation, |
| キーワード(2)（和/英） | 身体動作生成 / Human motion synthesis |
| キーワード(3)（和/英） | 変分自己符号化器 / Variational auto encoder |
| キーワード(4)（和/英） | 事前学習 / Pre-training |
| キーワード(5)（和/英） | スケルトン / Skeleton |
| キーワード(6)（和/英） | グラフ畳み込みニューラルネットワーク / Graph Convolutional Neural Network |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 賈 辰一 / Shihichi Ka / カ シンイチ |
| 第1著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 第2著者 氏名（和/英/ヨミ） | 篠田 浩一 / Koichi Shinoda / シノダ コウイチ |
| 第2著者 所属（和/英） | 東京工業大学 (略称： 東工大) Tokyo Institute of Technology (略称： Tokyo Tech) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-11-17 09:20:00 |
| 発表時間 | 90分 |
| 申込先研究会 | PRMU |
| 資料番号 | PRMU2023-29 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.266 |
| ページ範囲 | pp.74-79 |
| ページ数 | 6 |
| 発行日 | 2023-11-09 (PRMU) |
[研究会発表申込システムのトップページに戻る] (日本語ページの行間係数: 1)