講演抄録/キーワード |
講演名 |
2022-01-24 11:35
焦点ぼけ画像群を用いた視点補間に基づく 4 次元光線情報の圧縮符号化 ○梅林秀朋(東京理科大/NII)・児玉和也(NII)・浜本隆之(東京理科大) IE2021-28 |
抄録 |
(和) |
多視点動画像群からの3次元再構成に基づき立体映像を生成する技術が急速に普及しているが,こうした映像メディアは視点数に応じデータ量が膨大となるため,動画像符号化等を拡張した効率的な圧縮手法が様々に検討 されている.とくに,視点間の冗長性を削減した疎な光線情報から視点補間によって多視点画像全体を予測,高能率な圧縮を実現する枠組が多く提案され,実際,当該の視点補間には深層学習なども活用されている.一方で筆者らも, 焦点ぼけ構造を介しこうした疎な光線情報を安定に補間する手法を既に導出しており,本研究ではこれを用いた多視点画像群の圧縮符号化を考える.具体的には,多視点画像群の一部の視点を選択的に符号化,これらの視点のみから合成された焦点ぼけ画像群に適切なフィルタリングを施すことで密な多視点画像群を再構成する.ビットレートに応じて選択する視点数を決定し,再構成結果に選択視点からのブロックマッチングに基づく補正を行うことで予測のさらなる高品質化をはかる.実多視点画像群を用いたシミュレーションにより,深層学習に基づく補間手法や筆者らにより既提案の焦点ぼけ画像群を介した圧縮符号化との比較実験を行い,本手法の基本的な圧縮品質を検証する. |
(英) |
Light field reproduction by 3D reconstruction using multi-view videos has been widely developed. For example, while such multi-view videos consist of enormous data due to the increase of viewpoints, various efficient methods for light field compression as extension of video coding are being studied. Actually, model-based or deep-learning-based view interpolation is often introduced into such compression methods because it leads to high efficiency by predicting dense light fields from reduced data of sparse multi-view images. On the other hand, a method of reconstructing dense light fields via multi-focus images synthesized from only sparse multi-view images is successfully derived as a kind of view interpolation by our proposed 3D frequency analysis. In this paper, we study a method of 4D light field compression based on our view interpolation using multi-focus images. We selectively encode some of multi-view images to reconstruct dense light fields via multi-focus images synthesized from only them, where appropriate 2D filters work for such prediction. At any bit-rates, the number of selected viewpoints is determined for effectively improving prediction quality, while they are used as reference views to correct the reconstruction based on block matching. We show experimental results by using real multi-view images, and compression quality of our novel method is compared to that of a deep-learning-based method and our previous method without view interpolation for analyzing characteristics of its performance. |
キーワード |
(和) |
光線空間 / 多視点画像群 / 焦点ぼけ画像群 / 符号化 / 圧縮 / / / |
(英) |
light field / multi-view / multi-focus / encoding / compression / / / |
文献情報 |
信学技報, vol. 121, no. 346, IE2021-28, pp. 5-8, 2022年1月. |
資料番号 |
IE2021-28 |
発行日 |
2022-01-17 (IE) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
IE2021-28 |
|