R3GW: Relightable 3D Gaussians for Outdoor Scenes in the Wild
作者: Margherita Lea Corona, Wieland Morgenstern, Peter Eisert, Anna Hilsmann
分类: cs.CV
发布日期: 2026-03-03
备注: Accepted at VISAPP 2026
期刊: Proc. VISAPP 2026
💡 一句话要点
R3GW：提出可重光照的3D高斯模型，用于重建和渲染真实户外场景。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D高斯溅射 重光照 新视角合成 基于物理的渲染 户外场景重建
📋 核心要点
- 现有3DGS方法无法显式建模场景光照，导致难以处理真实场景中复杂的光照变化和重光照任务。
- R3GW将场景分解为可重光照前景和非反射背景，并结合基于物理的渲染，实现对前景反射中视角相关光照效果的建模。
- 在NeRF-OSR数据集上的实验表明，R3GW在真实场景的重光照和新视角合成方面取得了state-of-the-art的性能，并改善了天空-前景边界的渲染质量。
📝 摘要（中文）
3D高斯溅射(3DGS)已成为静态场景三维重建和新视角合成的主流技术，实现了卓越的渲染质量和快速训练。然而，该方法没有显式地对场景光照进行建模，因此不适用于重光照任务。此外，3DGS难以重建在不受约束的照片集中捕获的、光照条件变化的真实场景。本文提出了一种名为R3GW的新方法，该方法学习真实户外场景的可重光照3DGS表示。我们的方法使用两组不同的高斯函数将场景分为可重光照的前景和非反射背景（天空）。R3GW通过将基于物理的渲染与不同光照设置下的3DGS场景表示相结合，对前景反射中与视角相关的光照效果进行建模。我们在NeRF-OSR数据集上对我们的方法进行了定量和定性评估，提供了最先进的性能，并增强了对不受约束场景的基于物理的重光照支持。我们的方法在任意光照条件下合成逼真的新视角。此外，我们对天空的表示减轻了深度重建伪影，提高了天空-前景边界的渲染质量。
🔬 方法详解
问题定义：现有3D高斯溅射（3DGS）方法在静态场景的三维重建和新视角合成方面表现出色，但其主要局限性在于无法显式地建模场景的光照信息。这导致3DGS在处理光照条件复杂或需要进行重光照的场景时表现不佳，尤其是在真实户外场景中，光照变化剧烈，直接应用3DGS会产生伪影，并且无法实现逼真的重光照效果。
核心思路：R3GW的核心思路是将场景分解为两个部分：可重光照的前景和非反射的背景（天空）。前景使用基于物理的渲染（PBR）方法进行建模，以捕捉视角相关的光照效果。背景（天空）则使用单独的高斯分布进行表示，从而减少深度重建伪影。通过这种分离，R3GW能够更好地处理复杂的光照条件，并实现逼真的重光照效果。
技术框架：R3GW的整体框架包含以下几个主要步骤：1) 使用两组不同的3D高斯分布分别表示前景和背景（天空）；2) 对于前景，采用基于物理的渲染方法，结合3DGS的场景表示，对视角相关的光照效果进行建模；3) 对于背景（天空），使用一组独立的高斯分布进行表示，以减少深度重建伪影；4) 通过优化这些高斯分布的参数，实现对整个场景的重建和渲染。
关键创新：R3GW的关键创新在于将3DGS与基于物理的渲染相结合，并显式地分离前景和背景。这种分离使得R3GW能够更好地处理复杂的光照条件，并实现逼真的重光照效果。此外，使用独立的高斯分布表示天空可以有效地减少深度重建伪影，提高渲染质量。
关键设计：R3GW的关键设计包括：1) 使用两组独立的高斯分布分别表示前景和背景；2) 前景的渲染采用基于物理的渲染模型，考虑了材质属性和光照方向等因素；3) 使用特定的损失函数来优化高斯分布的参数，包括重建损失、光照一致性损失等；4) 对天空区域的高斯分布进行特殊处理，以减少深度重建伪影。
🖼️ 关键图片
📊 实验亮点
R3GW在NeRF-OSR数据集上取得了state-of-the-art的性能，在重光照和新视角合成方面均优于现有方法。实验结果表明，R3GW能够生成在任意光照条件下逼真的新视角，并有效地减少天空-前景边界的深度重建伪影，显著提升了渲染质量。定量指标和定性结果均验证了R3GW的有效性。
🎯 应用场景
R3GW技术可应用于增强现实、虚拟现实、游戏开发、电影制作等领域。它能够创建逼真的三维场景，并允许用户在不同的光照条件下进行交互。例如，在AR应用中，可以将虚拟物体无缝地融入真实场景，并根据环境光照进行调整，从而提供更沉浸式的体验。在游戏开发中，可以创建具有动态光照效果的逼真场景，提高游戏的视觉质量。
📄 摘要（原文）
3D Gaussian Splatting (3DGS) has established itself as a leading technique for 3D reconstruction and novel view synthesis of static scenes, achieving outstanding rendering quality and fast training. However, the method does not explicitly model the scene illumination, making it unsuitable for relighting tasks. Furthermore, 3DGS struggles to reconstruct scenes captured in the wild by unconstrained photo collections featuring changing lighting conditions. In this paper, we present R3GW, a novel method that learns a relightable 3DGS representation of an outdoor scene captured in the wild. Our approach separates the scene into a relightable foreground and a non-reflective background (the sky), using two distinct sets of Gaussians. R3GW models view-dependent lighting effects in the foreground reflections by combining Physically Based Rendering with the 3DGS scene representation in a varying illumination setting. We evaluate our method quantitatively and qualitatively on the NeRF-OSR dataset, offering state-of-the-art performance and enhanced support for physically-based relighting of unconstrained scenes. Our method synthesizes photorealistic novel views under arbitrary illumination conditions. Additionally, our representation of the sky mitigates depth reconstruction artifacts, improving rendering quality at the sky-foreground boundary