WilLaGS: Latent-Conditional 3D Appearance Fields for Robust Gaussian Splatting In-the-Wild

📄 arXiv: 2608.28240v1 📥 PDF

作者: Yuhao Bai, Qianqiu Tan, Lilong Chen, Huanhuan Lv, Lijun Chen

分类: cs.CV

发布日期: 2026-08-28

备注: Accepted by ECCV2026

💡 一句话要点

提出WilLaGS以解决不受约束场景下的3D重建与外观合成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 生成模型 外观合成 自监督学习 动态特征

📋 核心要点

  1. 现有的3D重建方法在不受约束的场景中面临外观变化和瞬态物体导致的多视图一致性问题。
  2. 本文提出WilLaGS框架，通过生成外观模型和3D神经外观场来解决环境变化和局部照明建模的不足。
  3. 实验结果表明，WilLaGS在重建质量和新视图外观合成方面表现优异，且具备实时渲染能力。

📝 摘要（中文）

3D Gaussian Splatting (3DGS) 实现了实时和高保真渲染，但在不受约束的场景中面临挑战，尤其是外观变化剧烈和瞬态物体导致的多视图一致性问题。现有方法受限于独立和离散的嵌入，难以捕捉连续的环境变化或建模空间变化的局部照明。为了解决这些问题，本文提出了WilLaGS，一个统一的框架，用于在不受约束的条件下进行鲁棒的3D场景重建和生成外观合成。我们引入了一种生成外观模型，通过β-VAE学习全局外观的结构化和连续流形，并构建了一个3D神经外观场来生成动态三平面特征，以编码空间变化的局部照明效应。此外，我们提出了一种自监督感知掩蔽机制，利用教师-学生（EMA）架构来推导稳定的场景共识，鲁棒地识别不一致区域。大量实验表明，WilLaGS在重建质量和新视图外观合成方面达到了最先进的性能，同时保持实时渲染效率。

🔬 方法详解

问题定义：本文旨在解决在不受约束的场景中进行鲁棒的3D重建和外观合成的问题。现有方法由于依赖独立的离散嵌入，难以有效捕捉环境的连续变化和空间变化的局部照明效应。

核心思路：WilLaGS通过引入生成外观模型和3D神经外观场，利用β-VAE学习全局外观的结构化流形，能够更好地适应环境变化并生成动态特征。

技术框架：WilLaGS的整体架构包括生成外观模型、3D神经外观场和自监督感知掩蔽机制。生成外观模型负责学习外观流形，3D神经外观场生成动态特征，而感知掩蔽机制则用于稳定场景共识。

关键创新：WilLaGS的主要创新在于引入了自监督感知掩蔽机制和动态三平面特征生成，能够有效抑制瞬态伪影并提高重建质量，这与现有方法的离散嵌入方式形成鲜明对比。

关键设计：在设计中，β-VAE用于学习外观流形，动态三平面特征用于编码局部照明，感知掩蔽机制通过教师-学生架构实现稳定的场景共识，确保了对不一致区域的鲁棒识别。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

WilLaGS在多个数据集上的实验结果显示，其在重建质量和新视图外观合成方面达到了最先进的性能，相较于基线方法，重建质量提升了XX%，并保持实时渲染效率。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和影视特效制作等，能够为实时3D场景重建和外观合成提供更高的质量和效率，推动相关技术的发展与应用。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) delivers real-time and high-fidelity rendering but remains challenged by unconstrained in-the-wild scenes, where drastic appearance variations and transient objects violate multi-view consistency. Existing methods are fundamentally limited by independent and discrete embeddings that struggle to capture continuous environmental changes or model spatially-varying local illumination. To address these limitations, we propose \textbf{WilLaGS}, a unified framework for robust 3D scene reconstruction and generative appearance synthesis under unconstrained settings. Specifically, we introduce a generative appearance model where a $β$-VAE learns a structured and continuous manifold of global appearance. Conditioned on the latent code, we construct a 3D neural appearance field that generates dynamic Tri-Plane features to encode spatially-varying local illumination effects. Furthermore, to suppress transient artifacts, we present a self-supervised perceptual masking mechanism that leverages a Teacher-Student (EMA) architecture to derive a stable scene consensus, robustly identifying inconsistent regions via perceptual discrepancies. Extensive experiments on multiple datasets demonstrate that \textbf{WilLaGS} achieves state-of-the-art performance in reconstruction quality and novel view appearance synthesis, while maintaining real-time rendering efficiency.