| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-09-12 15:55 音声と3DMMに基づくマスクを除去した顔画像の推定 ○赤塚哲丸・折原良平・清 雄一・田原康之・大須賀昭彦（電通大）  AI2023-32 |
|
| 抄録 | （和） | COVID-19の流行によりマスクの着用が一般的となったが, 顔の半分近くを覆うマスクは, セキュリティや識別システムに影響を及ぼし始めている. この課題に対応する為, 高精度な顔推定技術が求められている. 現在の最先端手法は, 3D Morphable Model（3DMM）を中間表現とし, 顔テクスチャの復元品質の向上には成功しているが, 顔形状の復元性能については不十分であり, 生成された顔の一部はアイデンティティが著しく損なわれている. 本研究では, マスクで隠れてしまう口や鼻の形状と特に相関の高い音声に着目し, 顔形状の推定に3DMMと音声を用いたマルチモーダルな手法を提案する. 実験の結果, 提案手法は音声を考慮しないベースライン手法と比較して, 定性的・定量的に品質が向上することが示された. |
| （英） | Facemasks have become common due to the COVID-19 pandemic. They have begun to affect security and identification systems because they cover almost half of the face. Current state-of-the-art methods have been applied to estimate unmasked faces from masked face images. They are successful in improving the quality of the face texture by 3D Morphable Model (3DMM) as intermediate representations. However, their performance in restoring the face shapes is insufficient, and some of generated faces lack identities. In this study, we focus on voice, which has a particularly high correlation with the shape of the mouth and nose, which are obscured by masks. We propose a multimodal method using 3DMM and voice for face shape estimation under masks. Experimental results show that the proposed method qualitatively and quantitatively improves the quality of shape restoration of a face compared to the baseline method without considering voice. | |
| キーワード | （和） | マスク除去 / Inpainting / 3DMM / 音声埋め込み / マルチモーダル / / / |
| （英） | Mask Removal / Inpainting / 3DMM / Voice Embedding / Multimodal / / / | |
| 文献情報 | 信学技報, vol. 123, no. 190, AI2023-32, pp. 187-193, 2023年9月. | |
| 資料番号 | AI2023-32 | |
| 発行日 | 2023-09-05 (AI) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | AI2023-32 |
|
| 研究会情報 | |
| 研究会 | AI |
| 開催期間 | 2023-09-12 - 2023-09-13 |
| 開催地（和） | 登別グランドホテル |
| 開催地（英） | |
| テーマ（和） | 合同エージェントワークショップ＆シンポジウム2023 (JAWS2023) |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | AI |
| 会議コード | 2023-09-AI |
| 本文の言語 | 日本語 |
| タイトル（和） | 音声と3DMMに基づくマスクを除去した顔画像の推定 |
| サブタイトル（和） | |
| タイトル（英） | Estimation of unmasked face images based on voice and 3DMM |
| サブタイトル（英） | |
| キーワード(1)（和/英） | マスク除去 / Mask Removal |
| キーワード(2)（和/英） | Inpainting / Inpainting |
| キーワード(3)（和/英） | 3DMM / 3DMM |
| キーワード(4)（和/英） | 音声埋め込み / Voice Embedding |
| キーワード(5)（和/英） | マルチモーダル / Multimodal |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 赤塚 哲丸 / Tetsumaru Akatsuka / アカツカ テツマル |
| 第1著者 所属（和/英） | 電気通信大学 大学院情報理工学研究科 (略称： 電通大) Graduate School of Informatics and Engineering, The University of Electro-Communications (略称： UEC) |
| 第2著者 氏名（和/英/ヨミ） | 折原 良平 / Ryohei Orihara / |
| 第2著者 所属（和/英） | 電気通信大学 大学院情報理工学研究科 (略称： 電通大) Graduate School of Informatics and Engineering, The University of Electro-Communications (略称： UEC) |
| 第3著者 氏名（和/英/ヨミ） | 清 雄一 / Yuichi Sei / セイ ユウイチ |
| 第3著者 所属（和/英） | 電気通信大学 大学院情報理工学研究科 (略称： 電通大) Graduate School of Informatics and Engineering, The University of Electro-Communications (略称： UEC) |
| 第4著者 氏名（和/英/ヨミ） | 田原 康之 / Yasuyuki Tahara / タハラ ヤスユキ |
| 第4著者 所属（和/英） | 電気通信大学 大学院情報理工学研究科 (略称： 電通大) Graduate School of Informatics and Engineering, The University of Electro-Communications (略称： UEC) |
| 第5著者 氏名（和/英/ヨミ） | 大須賀 昭彦 / Akihiko Ohsuga / オオスガ アキヒコ |
| 第5著者 所属（和/英） | 電気通信大学 大学院情報理工学研究科 (略称： 電通大) Graduate School of Informatics and Engineering, The University of Electro-Communications (略称： UEC) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-09-12 15:55:00 |
| 発表時間 | 20分 |
| 申込先研究会 | AI |
| 資料番号 | AI2023-32 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.190 |
| ページ範囲 | pp.187-193 |
| ページ数 | 7 |
| 発行日 | 2023-09-05 (AI) |
[研究会発表申込システムのトップページに戻る]