講演抄録/キーワード |
講演名 |
2023-05-19 09:05
多視点ステレオのためのNeRFを用いたデプスマップ最適化に関する検討 ○伊藤慎太郎・三浦幹太・伊藤康一・青木孝文(東北大) PRMU2023-6 |
抄録 |
(和) |
本稿では,Neural Radiance Fields (NeRF) を用いた最適化により多視点ステレオ (Multi-View Stereo: MVS) で推定されたデプスマップを洗練するこいとで,多視点画像からデプスマップを高精度に推定する手法を提案する.MVS は,物体表面のデプスを高精度に推定することができるが,テクスチャの乏しい領域や物体境界において推定精度が低くなる問題がある.
一方で,NeRF は,光線空間の推定の過程でデプスを求めるため,テクスチャの乏しい領域や物体境界において高精度にデプスを得ることができるが,物体表面の詳細なデプスを必ずしも得ることができない問題がある.提案手法は,デプスマップ推定における MVS と NeRF の利点を組み合わせて高精度にデプスマップを推定する.また,提案手法は,MVS で推定されたデプスマップを NeRF に基づく繰り返し最適化により洗練するため,学習を必要としない.Redwood-3dscan データセットを用いた性能評価実験を通して,デプスマップ推定における提案手法の有効性を実証する. |
(英) |
In this paper, we propose a method to improve the accuracy of depth maps estimated by Multi-View Stereo (MVS) by optimizing them using Neural Radiance Fields (NeRF).MVS can estimate the depth of an object surface accurately, while the accuracy of depth map estimation is significantly low in poor-texture regions and at object boundaries.NeRF can estimate the depth in poor-texture regions and at object boundaries accurately because of obtaining the depth in the process of constructing the ray space, while the accuracy of depth is low in object surfaces.The proposed method combines the advantages of MVS and NeRF to improve the accuracy of depth map estimation.The proposed method also does not need any training by refining depth map with iterative optimization of the depth map based on NeRF.We demonstrate the effectiveness of the proposed method through experiments to evaluate the accuracy of depth map estimation using the Redwood-3dscan dataset. |
キーワード |
(和) |
Neural Radiance Fields / Multi-View Stereo / デプス推定 / / / / / |
(英) |
/ / / / / / / |
文献情報 |
信学技報, vol. 123, no. 30, PRMU2023-6, pp. 27-32, 2023年5月. |
資料番号 |
PRMU2023-6 |
発行日 |
2023-05-11 (PRMU) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
PRMU2023-6 |
研究会情報 |
研究会 |
PRMU IPSJ-CVIM |
開催期間 |
2023-05-18 - 2023-05-19 |
開催地(和) |
名古屋工業大学 |
開催地(英) |
|
テーマ(和) |
NeRF等のニューラルシーン表現 |
テーマ(英) |
|
講演論文情報の詳細 |
申込み研究会 |
PRMU |
会議コード |
2023-05-PRMU-CVIM |
本文の言語 |
日本語 |
タイトル(和) |
多視点ステレオのためのNeRFを用いたデプスマップ最適化に関する検討 |
サブタイトル(和) |
|
タイトル(英) |
A Study of Depth Map Optimization Using NeRF for Multi-View Stereo |
サブタイトル(英) |
|
キーワード(1)(和/英) |
Neural Radiance Fields / |
キーワード(2)(和/英) |
Multi-View Stereo / |
キーワード(3)(和/英) |
デプス推定 / |
キーワード(4)(和/英) |
/ |
キーワード(5)(和/英) |
/ |
キーワード(6)(和/英) |
/ |
キーワード(7)(和/英) |
/ |
キーワード(8)(和/英) |
/ |
第1著者 氏名(和/英/ヨミ) |
伊藤 慎太郎 / Shintaro Ito / イトウ シンタロウ |
第1著者 所属(和/英) |
東北大学 (略称: 東北大)
Tohoku University (略称: Tohoku Univ.) |
第2著者 氏名(和/英/ヨミ) |
三浦 幹太 / Kanta Miura / ミウラ カンタ |
第2著者 所属(和/英) |
東北大学 (略称: 東北大)
Tohoku University (略称: Tohoku Univ.) |
第3著者 氏名(和/英/ヨミ) |
伊藤 康一 / Koichi Ito / イトウ コウイチ |
第3著者 所属(和/英) |
東北大学 (略称: 東北大)
Tohoku University (略称: Tohoku Univ.) |
第4著者 氏名(和/英/ヨミ) |
青木 孝文 / Takafumi Aoki / アオキ タカフミ |
第4著者 所属(和/英) |
東北大学 (略称: 東北大)
Tohoku University (略称: Tohoku Univ.) |
第5著者 氏名(和/英/ヨミ) |
/ / |
第5著者 所属(和/英) |
(略称: )
(略称: ) |
第6著者 氏名(和/英/ヨミ) |
/ / |
第6著者 所属(和/英) |
(略称: )
(略称: ) |
第7著者 氏名(和/英/ヨミ) |
/ / |
第7著者 所属(和/英) |
(略称: )
(略称: ) |
第8著者 氏名(和/英/ヨミ) |
/ / |
第8著者 所属(和/英) |
(略称: )
(略称: ) |
第9著者 氏名(和/英/ヨミ) |
/ / |
第9著者 所属(和/英) |
(略称: )
(略称: ) |
第10著者 氏名(和/英/ヨミ) |
/ / |
第10著者 所属(和/英) |
(略称: )
(略称: ) |
第11著者 氏名(和/英/ヨミ) |
/ / |
第11著者 所属(和/英) |
(略称: )
(略称: ) |
第12著者 氏名(和/英/ヨミ) |
/ / |
第12著者 所属(和/英) |
(略称: )
(略称: ) |
第13著者 氏名(和/英/ヨミ) |
/ / |
第13著者 所属(和/英) |
(略称: )
(略称: ) |
第14著者 氏名(和/英/ヨミ) |
/ / |
第14著者 所属(和/英) |
(略称: )
(略称: ) |
第15著者 氏名(和/英/ヨミ) |
/ / |
第15著者 所属(和/英) |
(略称: )
(略称: ) |
第16著者 氏名(和/英/ヨミ) |
/ / |
第16著者 所属(和/英) |
(略称: )
(略称: ) |
第17著者 氏名(和/英/ヨミ) |
/ / |
第17著者 所属(和/英) |
(略称: )
(略称: ) |
第18著者 氏名(和/英/ヨミ) |
/ / |
第18著者 所属(和/英) |
(略称: )
(略称: ) |
第19著者 氏名(和/英/ヨミ) |
/ / |
第19著者 所属(和/英) |
(略称: )
(略称: ) |
第20著者 氏名(和/英/ヨミ) |
/ / |
第20著者 所属(和/英) |
(略称: )
(略称: ) |
講演者 |
第1著者 |
発表日時 |
2023-05-19 09:05:00 |
発表時間 |
15分 |
申込先研究会 |
PRMU |
資料番号 |
PRMU2023-6 |
巻番号(vol) |
vol.123 |
号番号(no) |
no.30 |
ページ範囲 |
pp.27-32 |
ページ数 |
6 |
発行日 |
2023-05-11 (PRMU) |