WildSplat: Feedforward Gaussian Splatting from Unposed In-the-Wild Images
作者: Xiyu Zhang, Jingyu Zhuang, Hongjia Zhai, Zizheng Yan, Jinwei Chen, Guofeng Zhang, Qingnan Fan
分类: cs.CV
发布日期: 2026-07-06
备注: 22 pages, 9 figures; Accepted by ECCV 2026. Project page: https://zju3dv.github.io/wildsplat/
💡 一句话要点
提出WildSplat以解决不一致光照下的3D重建问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D重建 高斯点云 新视角合成 光照不一致 计算机视觉 深度学习 外观编辑 自然图像
📋 核心要点
- 现有的前馈3D重建方法在面对不同光照条件时表现不佳，限制了其在实际应用中的有效性。
- 论文提出的WildSplat框架通过双分支架构解耦几何与外观信息，能够处理不一致的光照条件。
- 实验结果显示，WildSplat在自然场景的新视角合成和外观编辑中超越了现有方法，表现出色。
📝 摘要（中文）
尽管前馈3D重建在高效的新视角合成方面表现出色，但在不同光照条件下的场景中通常表现不佳。为此，我们提出了WildSplat，这是第一个能够进行外观条件的新视角合成的前馈3D高斯点云框架，专为未定位的自然图像设计。为了解决光照不一致的问题，我们提出了一种双分支架构，明确将几何信息与外观信息解耦。几何分支提取外观不变的3D结构并联合预测相机位姿，而外观分支则通过全局预调制的交叉注意机制将目标外观线索注入内容特征。通过引入联合多参考训练策略，我们进一步稳定了训练过程。大量实验表明，WildSplat在自然场景的新视角合成和外观编辑方面超越了现有的优化方法和前馈方法，实现了最先进的性能。
🔬 方法详解
问题定义：本论文旨在解决在不同光照条件下进行3D重建时的外观不一致性问题。现有方法在处理自然图像时，往往无法有效应对光照变化带来的挑战。
核心思路：WildSplat框架的核心思想是通过双分支架构将几何信息与外观信息解耦，从而实现对光照变化的鲁棒性。几何分支负责提取外观不变的3D结构，而外观分支则通过引入目标外观线索来调节渲染效果。
技术框架：WildSplat的整体架构包括两个主要分支：几何分支和外观分支。几何分支提取3D结构并预测相机位姿，外观分支则通过交叉注意机制将外观信息注入内容特征。此外，采用联合多参考训练策略以稳定训练过程。
关键创新：本研究的关键创新在于引入了双分支架构和全局预调制的交叉注意机制，显著提高了在不一致光照条件下的合成效果。这一设计与传统方法的显著区别在于其对几何与外观的明确解耦。
关键设计：在网络结构上，采用了双分支设计，几何分支和外观分支分别处理不同的信息流。损失函数设计上，考虑了几何一致性和外观一致性，以确保训练的稳定性和效果。
🖼️ 关键图片
📊 实验亮点
在大量实验中，WildSplat在自然场景的新视角合成和外观编辑任务中表现优异，超越了现有的优化方法和前馈方法，达到了最先进的性能。具体而言，相较于基线方法，性能提升幅度显著，展示了其在处理稀疏输入时的高效性。
🎯 应用场景
WildSplat框架在计算机视觉和图形学领域具有广泛的应用潜力，尤其是在虚拟现实、增强现实和影视特效制作中。其能够处理自然场景中的光照变化，使得在动态环境下的3D重建和合成更加真实和高效，未来可能推动相关技术的进一步发展。
📄 摘要（原文）
While feedforward 3D reconstruction excels at efficient novel view synthesis, it typically falters when faced with scenes under varying illumination. To this end, we introduce WildSplat, the first feedforward 3D Gaussian Splatting framework capable of appearance-conditioned novel-view synthesis for unposed in-the-wild images. To handle inconsistent photometric conditions, we propose a dual-branch architecture that explicitly decouples geometry from appearance. The geometry branch extracts an appearance-invariant 3D structure and jointly predicts camera poses. To govern the rendering appearance, the appearance branch injects target appearance cues into the content features via a globally pre-modulated cross-attention mechanism. To further prevent feature entanglement, we introduce a joint multi-reference training strategy that stabilizes the training process. Extensive experiments show that WildSplat surpasses existing optimization-based and feedforward methods, achieving state-of-the-art performance in in-the-wild novel view synthesis and appearance editing from sparse inputs in a single forward pass.