The Sky's the Limit: Re-lightable Outdoor Scenes via a Sky-pixel Constrained Illumination Prior and Outside-In Visibility
作者: James A. D. Gardner, Evgenii Kashin, Bernhard Egger, William A. P. Smith
分类: cs.CV
发布日期: 2023-11-28 (更新: 2024-07-30)
备注: Accepted to ECCV 2024
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于天空像素约束的照明先验以解决户外场景重光照问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 逆向渲染 户外场景 照明估计 神经网络 计算机视觉 几何重建 深度学习
📋 核心要点
- 现有的户外场景逆向渲染方法在处理照明和几何遮挡时面临着照明与反照率的模糊性问题。
- 论文提出通过天空像素提供的照明信息，结合神经照明先验，来有效分离照明、反照率和几何信息。
- 在NeRF-OSR重光照基准上，提出的方法实现了高质量的反照率、几何和照明估计，达到了最先进的效果。
📝 摘要（中文）
户外场景的逆向渲染是一项具有挑战性的任务，尤其是在处理照明/反照率模糊和几何遮挡（阴影）时。尽管现有方法通常会将天空像素屏蔽，但我们利用天空像素提供的远处照明信息，通过神经照明先验推导剩余照明环境。我们提出了一种新颖的“外向内”方法，基于神经方向距离函数计算可微分的天空可见性。这种方法高效且可与神经场景表示并行训练，使得阴影的外观损失梯度能够影响照明和几何的估计。我们的算法在NeRF-OSR重光照基准上实现了最先进的结果。
🔬 方法详解
问题定义：本论文旨在解决户外场景逆向渲染中的照明与反照率模糊性及几何遮挡问题。现有方法通常忽略天空像素，导致照明环境的估计不准确。
核心思路：我们利用天空像素作为远处照明的直接观测，通过神经照明先验推导其他照明信息。结合“外向内”方法计算天空可见性，使得阴影信息能够影响照明和几何的估计。
技术框架：整体方法包括天空像素的利用、神经照明先验的构建和可微分天空可见性的计算。通过并行训练，优化阴影和照明的估计。
关键创新：最重要的创新在于引入了天空像素约束的照明先验，并通过“外向内”方法实现可微分的天空可见性计算。这一方法显著提高了照明和几何的估计精度。
关键设计：在技术细节上，采用了神经方向距离函数来计算天空可见性，并设计了适当的损失函数以确保阴影对照明和几何估计的影响。
🖼️ 关键图片
📊 实验亮点
在NeRF-OSR重光照基准上，提出的方法实现了高质量的反照率、几何和照明估计，达到了最先进的效果，显著提升了照明估计的准确性和效率，超越了现有的基线方法。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、增强现实和计算机图形学等，能够为户外场景的真实感渲染提供更高质量的照明和几何信息。未来，随着技术的进一步发展，可能会在自动驾驶、环境监测等领域发挥重要作用。
📄 摘要（原文）
Inverse rendering of outdoor scenes from unconstrained image collections is a challenging task, particularly illumination/albedo ambiguities and occlusion of the illumination environment (shadowing) caused by geometry. However, there are many cues in an image that can aid in the disentanglement of geometry, albedo and shadows. Whilst sky is frequently masked out in state-of-the-art methods, we exploit the fact that any sky pixel provides a direct observation of distant lighting in the corresponding direction and, via a neural illumination prior, a statistical cue to derive the remaining illumination environment. The incorporation of our illumination prior is enabled by a novel `outside-in' method for computing differentiable sky visibility based on a neural directional distance function. This is highly efficient and can be trained in parallel with the neural scene representation, allowing gradients from appearance loss to flow from shadows to influence the estimation of illumination and geometry. Our method estimates high-quality albedo, geometry, illumination and sky visibility, achieving state-of-the-art results on the NeRF-OSR relighting benchmark. Our code and models can be found at https://github.com/JADGardner/neusky