| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-05-18 14:15 低遅延なジェスチャ生成のための逐次的な生成器の提案 ○光林優菜・金子直史・鷲見和彦（青学大）  PRMU2023-4 |
|
| 抄録 | （和） | 現在，対話型ロボットなどの会話エージェントの発展が著しく，それらの対話応答だけでなく振る舞いにも注目されているが，それは発話に伴うジェスチャが，対話型ロボットや会話エージェントのコミュニケーション能力向上にとって重要な要素だからである．深層学習を使用した自動的にジェスチャを生成する手法があるが，生成の質を重視して発話の時系列的な過去から未来までを一度に入力するため，生成における遅延は意識されてこなかった．一方で，昨今はメタバース上でオンライン会議などが開かれ，そこでアバターが自然なジェスチャを取れるようになれば会話の理解度が向上するため，低遅延を意識して研究する必要がある．本研究では，それを解決するために，ジェスチャを音声の入力と同時に生成するための手法を提案する．そのために，発話音声の特徴を RNN-Transducer 型のフレームワークで学習し，音声入力から逐次，ジェスチャー動作のシーケンスを生成する．その結果，最初のジェスチャが生成されるまでの時間を従来手法から約1秒ほど短縮することができたが，ジェスチャの質は改善の余地が残る結果となった． |
| （英） | Currently, conversational agents such as interactive robots are developing remarkably, and not only their dialogue responses but also their behaviour is attracting attention, because gestures accompanying speech are an important element for improving the communicative ability of interactive robots and conversational agents. There are methods for automatically generating gestures using deep learning, but they focus on the quality of the generation and input the chronological past and future of the utterance at once, so the delay in the generation has not been considered. On the other hand, nowadays online conferences are held in the metaverse, and if avatars are able to perform natural gestures, the comprehension of conversations will be improved. To solve this problem, we propose a method for generating gestures simultaneously with speech input. For this purpose, features of speech are learnt in an RNN-Transducer type framework, and sequences of gesture actions are generated sequentially from the speech input. As a result, the time until the first gesture is generated was reduced by approximately one second compared to the conventional method, but the quality of the gestures left room for improvement. | |
| キーワード | （和） | ジェスチャ生成 / RNN-Transducer 型フレームワーク / 深層学習 / 会話エージェント / / / / |
| （英） | Gesture Generation / RNN-Transducer model / Deep learning / Conversational Agents / / / / | |
| 文献情報 | 信学技報, vol. 123, no. 30, PRMU2023-4, pp. 16-21, 2023年5月. | |
| 資料番号 | PRMU2023-4 | |
| 発行日 | 2023-05-11 (PRMU) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | PRMU2023-4 |
|
| 研究会情報 | |
| 研究会 | PRMU IPSJ-CVIM |
| 開催期間 | 2023-05-18 - 2023-05-19 |
| 開催地（和） | 名古屋工業大学 |
| 開催地（英） | |
| テーマ（和） | NeRF等のニューラルシーン表現 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | PRMU |
| 会議コード | 2023-05-PRMU-CVIM |
| 本文の言語 | 日本語 |
| タイトル（和） | 低遅延なジェスチャ生成のための逐次的な生成器の提案 |
| サブタイトル（和） | |
| タイトル（英） | Streamable gesture generators for low-latency gesture generation |
| サブタイトル（英） | |
| キーワード(1)（和/英） | ジェスチャ生成 / Gesture Generation |
| キーワード(2)（和/英） | RNN-Transducer 型フレームワーク / RNN-Transducer model |
| キーワード(3)（和/英） | 深層学習 / Deep learning |
| キーワード(4)（和/英） | 会話エージェント / Conversational Agents |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 光林 優菜 / Yuna Mitsubayashi / ミツバヤシ ユウナ |
| 第1著者 所属（和/英） | 青山学院大学 (略称： 青学大) Aoyama Gakuin University (略称： Aoyama Gakuin Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 金子 直史 / Naoshi Kaneko / カネコ ナオシ |
| 第2著者 所属（和/英） | 青山学院大学 (略称： 青学大) Aoyama Gakuin University (略称： Aoyama Gakuin Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 鷲見 和彦 / Kazuhiko Sumi / スミ カズヒコ |
| 第3著者 所属（和/英） | 青山学院大学 (略称： 青学大) Aoyama Gakuin University (略称： Aoyama Gakuin Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-05-18 14:15:00 |
| 発表時間 | 15分 |
| 申込先研究会 | PRMU |
| 資料番号 | PRMU2023-4 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.30 |
| ページ範囲 | pp.16-21 |
| ページ数 | 6 |
| 発行日 | 2023-05-11 (PRMU) |
[研究会発表申込システムのトップページに戻る]