Learning with Unreliability: Fast Few-shot Voxel Radiance Fields with Relative Geometric Consistency
作者: Yingjie Xu, Bangzhen Liu, Hao Tang, Bailin Deng, Shengfeng He
分类: cs.CV
发布日期: 2024-03-26
备注: CVPR 2024 final version
🔗 代码/项目: GITHUB
💡 一句话要点
提出ReVoRF框架以解决伪新视图合成中的不可靠性问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)
关键词: 少样本学习 辐射场 几何一致性 视图合成 体素平滑
📋 核心要点
- 现有方法在伪新视图合成中面临不可靠性问题，导致重建质量下降。
- 提出的ReVoRF框架利用相对深度关系和双边几何一致性损失，提升了合成视图的质量。
- 实验结果显示，ReVoRF在效率和准确性上显著优于现有方法，PSNR提升5%。
📝 摘要（中文）
我们提出了一种基于体素的优化框架ReVoRF，用于少样本辐射场，旨在战略性地解决伪新视图合成中的不可靠性。我们的方法基于一个洞察，即相邻区域内的相对深度关系比在去遮挡区域中的绝对颜色值更可靠。因此，我们设计了一种双边几何一致性损失，仔细平衡了颜色保真度和几何准确性在不确定区域的深度一致性。此外，我们提出了一种可靠性引导的学习策略，以辨别和利用合成视图中的可变质量，并辅以一种可靠性感知的体素平滑算法，以平滑可靠和不可靠数据块之间的过渡。我们的研究在多个数据集上的广泛实验表明，该方法在效率和准确性上取得了显著提升，渲染速度达到3 FPS，训练360度场景仅需7分钟，PSNR比现有少样本方法提高5%。
🔬 方法详解
问题定义：本论文旨在解决伪新视图合成中的不可靠性问题，现有方法往往依赖于绝对颜色值，导致在去遮挡区域的重建质量不佳。
核心思路：我们提出的ReVoRF框架基于相对深度关系的可靠性，设计了双边几何一致性损失，以在颜色保真度和几何准确性之间取得平衡。
技术框架：ReVoRF的整体架构包括几个主要模块：首先是相对深度关系的提取，其次是双边几何一致性损失的计算，最后是可靠性引导的学习策略和体素平滑算法的应用。
关键创新：最重要的创新点在于引入了双边几何一致性损失和可靠性引导的学习策略，这与现有方法的绝对颜色依赖形成了本质区别。
关键设计：在损失函数设计中，我们结合了颜色保真度和几何一致性，确保在不确定区域的深度一致性。同时，可靠性感知的体素平滑算法能够有效平滑数据块之间的过渡，提升整体重建质量。
📊 实验亮点
实验结果显示，ReVoRF在多个数据集上实现了3 FPS的渲染速度和7分钟的360度场景训练时间，相较于现有少样本方法，PSNR提升了5%，展现了显著的效率和准确性提升。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、增强现实以及计算机图形学中的场景重建。通过提升少样本辐射场的合成质量，ReVoRF能够在资源有限的情况下实现高质量的视图合成，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
We propose a voxel-based optimization framework, ReVoRF, for few-shot radiance fields that strategically address the unreliability in pseudo novel view synthesis. Our method pivots on the insight that relative depth relationships within neighboring regions are more reliable than the absolute color values in disoccluded areas. Consequently, we devise a bilateral geometric consistency loss that carefully navigates the trade-off between color fidelity and geometric accuracy in the context of depth consistency for uncertain regions. Moreover, we present a reliability-guided learning strategy to discern and utilize the variable quality across synthesized views, complemented by a reliability-aware voxel smoothing algorithm that smoothens the transition between reliable and unreliable data patches. Our approach allows for a more nuanced use of all available data, promoting enhanced learning from regions previously considered unsuitable for high-quality reconstruction. Extensive experiments across diverse datasets reveal that our approach attains significant gains in efficiency and accuracy, delivering rendering speeds of 3 FPS, 7 mins to train a $360^\circ$ scene, and a 5\% improvement in PSNR over existing few-shot methods. Code is available at https://github.com/HKCLynn/ReVoRF.