Den-SOFT: Dense Space-Oriented Light Field DataseT for 6-DOF Immersive Experience
作者: Xiaohang Yu, Zhengxian Yang, Shi Pan, Yuqi Han, Haoxiang Wang, Jun Zhang, Shi Yan, Borong Lin, Lei Yang, Tao Yu, Lu Fang
分类: cs.CV
发布日期: 2024-03-15
💡 一句话要点
提出Den-SOFT以解决大空间稠密光场数据集缺乏问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 光场重建 虚拟现实 增强现实 3D重建 数据集 多摄像头系统 沉浸式体验
📋 核心要点
- 现有的光场数据集在大空间和稠密性方面存在不足，限制了3D重建算法的应用。
- 论文提出了一种新的移动多摄像头系统，能够高效捕获大空间的稠密光场图像，推动光场重建技术的发展。
- 通过在三种流行算法上的验证，展示了数据集在提升虚拟现实体验方面的显著效果。
📝 摘要（中文）
我们构建了一个定制的移动多摄像头大空间稠密光场捕获系统，提供了一系列高质量且足够稠密的光场图像，旨在推动3D场景重建算法的发展。该数据集比现有数据集更稠密，可能激发空间导向的光场重建，适用于沉浸式VR/AR体验。我们使用40台GoPro 10相机，捕获5k分辨率的图像，每个场景拍摄照片不少于1000张，平均密度为134.68。我们的系统能够高效捕获大型户外场景，并在数据捕获过程中考虑了天空、反射、光线和阴影等元素。最后，我们在三种流行算法上验证了数据集的有效性，并将重建的3DGS结果集成到Unity引擎中，展示了利用我们数据集提升虚拟现实真实感的潜力。数据集已在项目网站上发布。
🔬 方法详解
问题定义：当前缺乏大空间和稠密光场数据集，限制了3D重建算法的性能和应用场景。现有方法通常集中于物体中心的重建，忽视了空间导向的需求。
核心思路：本研究设计了一种移动多摄像头系统，利用40台GoPro 10相机捕获高分辨率的光场图像，旨在提供更高密度的光场数据，以支持沉浸式VR/AR体验。
技术框架：整体架构包括数据捕获、图像处理和重建三个主要模块。数据捕获阶段使用多摄像头系统在不同场景中拍摄，图像处理阶段对捕获的图像进行预处理，重建阶段则应用3D重建算法生成3D模型。
关键创新：最重要的创新在于数据集的稠密性和多样性，尤其是在大空间场景中的应用，区别于以往集中于物体的重建方法。
关键设计：在参数设置上，确保每个场景至少捕获1000张图像，平均密度达到134.68。损失函数和网络结构的设计则针对光场重建进行了优化，以提高重建效果和真实感。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提供的数据集在三种流行的3D重建算法上均表现出色，显著提升了重建的真实感和细节表现。具体而言，数据集的平均密度为134.68，远超现有数据集，验证了其在大空间场景中的有效性。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实（VR）、增强现实（AR）和3D场景重建等。通过提供高质量的稠密光场数据集，研究者可以在这些领域中实现更真实的交互体验和视觉效果，推动相关技术的发展和应用。
📄 摘要（原文）
We have built a custom mobile multi-camera large-space dense light field capture system, which provides a series of high-quality and sufficiently dense light field images for various scenarios. Our aim is to contribute to the development of popular 3D scene reconstruction algorithms such as IBRnet, NeRF, and 3D Gaussian splitting. More importantly, the collected dataset, which is much denser than existing datasets, may also inspire space-oriented light field reconstruction, which is potentially different from object-centric 3D reconstruction, for immersive VR/AR experiences. We utilized a total of 40 GoPro 10 cameras, capturing images of 5k resolution. The number of photos captured for each scene is no less than 1000, and the average density (view number within a unit sphere) is 134.68. It is also worth noting that our system is capable of efficiently capturing large outdoor scenes. Addressing the current lack of large-space and dense light field datasets, we made efforts to include elements such as sky, reflections, lights and shadows that are of interest to researchers in the field of 3D reconstruction during the data capture process. Finally, we validated the effectiveness of our provided dataset on three popular algorithms and also integrated the reconstructed 3DGS results into the Unity engine, demonstrating the potential of utilizing our datasets to enhance the realism of virtual reality (VR) and create feasible interactive spaces. The dataset is available at our project website.