| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2023-05-19 09:50 符号付き距離場を用いた滑らかな表面をもつText-to-3D生成 ○孫 卓凡・堀田大地（東大）・池畑 諭（NII）・相澤清晴（東大）  PRMU2023-9 |
|
| 抄録 | （和） | 近年, テキストから3次元オブジェクトを生成するフレームワーク(Text-to-3D)が提案されている. Text-to-3Dは画像生成と異なり, モデルの訓練に使えるキャブション付き3次元データが限られている. そのため, 最近のtext-to-3Dアプローチでは, 事前に学習された画像生成用拡散モデルやCLIPを用いて, 3次元シーンからレンダリングされた画像に基づいて3次元シーンを最適化するフレームワークが主流である. 既存のtext-to-3D手法では, 3次元シーンがNeural Radiance Fields (NeRF)で表され, NeRFを最適化することで, テキストからの3Dオブジェクトの生成が実現できる. しかし, これらのNeRFをベースにした手法による生成結果のメッシュを抽出して観測すると, 凸凹のノイズがメッシュの表面に現れることが多い. その結果, 下流アプリケーションに導入した場合, 品質の低下につながる. 本研究ではこの問題を解決するために, 3次元シーンの表面再構成によく用いられる3次元表現である符号付き距離場（SDF）を既存の text-to-3D フレームワークに取り組んで, その効果を検証した. 拡散モデルによるガイダンスとCLIPによるガイダンスの両方の場合において, 生成結果に基づく定性評価及びユーザスタディによる定量評価を行い, ニューラル符号付き距離場による3次元シーン表現を導入することで, 従来のNeRFベースアプローチと比べてより滑らかな表面をもつメッシュ生成結果が得られることを実証した. |
| （英） | Frameworks for generating 3D objects from text description have been proposed in recent years. These frameworks utilize pre-trained image language models like CLIP or diffusion models to optimize the 3D scene, so that rendered images from any angle of the 3D scene matches the text provided. In these frameworks, 3D scenes are represented by Neural Radiance Fields (NeRF), which has been shown to be suitable for novel-view synthesis tasks. However, NeRF-based methods tend to produce meshes with noisy surfaces. This research intends to solve this problem by incorporating Signed Distance Fields (SDFs) into existing text-to-3D frameworks since SDFs are shown to be suitable for surface reconstruction. We compared the results of NeRF-based and SDF-based approaches and demonstrated that SDF-based methods are able to generate more refined surfaces by suppressing jaggy and floating artifacts that were often observed in results using NeRF-based methods. We also conducted user studies and showed that results SDF-based approaches are not only more refined but also more favorable to users. | |
| キーワード | （和） | Text-to-3D / Signed Distance Fields / Neural Radiance Fields / CLIP / Diffusion models / / / |
| （英） | Text-to-3D / Signed Distance Fields / Neural Radiance Fields / CLIP / Diffusion models / / / | |
| 文献情報 | 信学技報, vol. 123, no. 30, PRMU2023-9, pp. 45-50, 2023年5月. | |
| 資料番号 | PRMU2023-9 | |
| 発行日 | 2023-05-11 (PRMU) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | PRMU2023-9 |
|
| 研究会情報 | |
| 研究会 | PRMU IPSJ-CVIM |
| 開催期間 | 2023-05-18 - 2023-05-19 |
| 開催地（和） | 名古屋工業大学 |
| 開催地（英） | |
| テーマ（和） | NeRF等のニューラルシーン表現 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | PRMU |
| 会議コード | 2023-05-PRMU-CVIM |
| 本文の言語 | 日本語 |
| タイトル（和） | 符号付き距離場を用いた滑らかな表面をもつText-to-3D生成 |
| サブタイトル（和） | |
| タイトル（英） | Incorporating Signed Distance Fields to Improve Text-to-3D Generation |
| サブタイトル（英） | |
| キーワード(1)（和/英） | Text-to-3D / Text-to-3D |
| キーワード(2)（和/英） | Signed Distance Fields / Signed Distance Fields |
| キーワード(3)（和/英） | Neural Radiance Fields / Neural Radiance Fields |
| キーワード(4)（和/英） | CLIP / CLIP |
| キーワード(5)（和/英） | Diffusion models / Diffusion models |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 孫 卓凡 / Zhuofan Sun / ソン タクボン |
| 第1著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： Univ. of Tokyo) |
| 第2著者 氏名（和/英/ヨミ） | 堀田 大地 / Daichi Horita / ホリタ ダイチ |
| 第2著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： Univ. of Tokyo) |
| 第3著者 氏名（和/英/ヨミ） | 池畑 諭 / Satoshi Ikehata / イケハタ サトシ |
| 第3著者 所属（和/英） | 国立情報学研究所/東京工業大学/東京大学 (略称： NII) National Institute of Informatics/Tokyo Institute of Technology/The University of Tokyo (略称： NII) |
| 第4著者 氏名（和/英/ヨミ） | 相澤 清晴 / Kiyoharu Aizawa / アイザワ キヨハル |
| 第4著者 所属（和/英） | 東京大学 (略称： 東大) The University of Tokyo (略称： Univ. of Tokyo) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2023-05-19 09:50:00 |
| 発表時間 | 15分 |
| 申込先研究会 | PRMU |
| 資料番号 | PRMU2023-9 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | no.30 |
| ページ範囲 | pp.45-50 |
| ページ数 | 6 |
| 発行日 | 2023-05-11 (PRMU) |
[研究会発表申込システムのトップページに戻る]