IGSW: Multi-Weather Urban Scene Reconstruction with Intrinsic-Decoupled Gaussian Splatting
作者: Zhongquan Wang, Long Cao, Peijia Xie, Senlei Ma, Jie Li, Guofa Li
分类: cs.CV
发布日期: 2026-11-03
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出IGSW以解决多天气城市场景重建中的结构失真问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)
关键词: 多天气场景重建 高斯建模 自动驾驶 图像编辑 结构保持 深度学习 计算机视觉
📋 核心要点
- 现有方法在多天气场景重建中存在结构失真和时间连续性问题，影响了自动驾驶的应用效果。
- IGSW通过内在解耦的4D高斯场景建模与结构保持的天气精细化，提出了两阶段的框架来解决上述问题。
- 实验表明，IGSW在内容相似性、语义一致性和时间误差方面优于其他方法，展现了显著的天气依赖效果。
📝 摘要（中文）
高保真天气编辑的4D场景能够支持自动驾驶的端到端训练和闭环仿真。结合生成图像编辑与动态高斯表示实现多天气场景重建，但天气编辑图像常含有结构失真。直接拟合其外观可能将教师图像的错误传播到重建的4D场景中，影响原始场景结构和时间连续性。为解决这些挑战，本文提出IGSW，一个结合内在解耦4D高斯场景建模与结构保持天气精细化的两阶段框架。实验结果表明，IGSW在nuScenes和Waymo数据集上实现了最高的内容相似性和语义一致性，以及最低的时间误差，同时保持显著的天气依赖照明和气氛。
🔬 方法详解
问题定义：本文旨在解决多天气城市场景重建中的结构失真和时间连续性问题。现有方法在处理天气编辑图像时，容易将错误传播到重建的4D场景中，导致结构和照明的不一致。
核心思路：IGSW的核心思路是将4D高斯场景建模与天气精细化相结合，通过内在解耦的方式分离天气共享的反射率和法线与天气特定的辐照度和残差，从而保持场景的结构完整性。
技术框架：IGSW框架分为两个阶段：第一阶段通过扩散模型生成天气教师图像，并利用扩散逆渲染器估计内在图，提供特征级软监督；第二阶段通过结构保持门结合语义冲突与跨天气内在差异，抑制不可靠的教师区域，强化目标天气外观。
关键创新：IGSW的主要创新在于内在解耦的高斯场景建模与结构保持的天气精细化相结合，显著提高了重建的内容相似性和语义一致性，克服了现有方法的局限性。
关键设计：在设计上，IGSW引入了天气传输变量和目标天气分支，利用这些设计增强了场景的天气外观，同时采用了特定的损失函数以保持结构和照明的一致性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，IGSW在nuScenes和Waymo数据集上实现了最高的内容相似性和语义一致性，分别达到了XX%和YY%的提升，同时时间误差最低，表明其在多天气场景重建中的有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、虚拟现实和城市规划等。通过高保真的天气场景重建，能够为自动驾驶系统提供更真实的训练环境，提高其在复杂天气条件下的表现，进而推动智能交通系统的发展。
📄 摘要（原文）
High-fidelity weather editing of 4D scenes can support end-to-end training and closed-loop simulation for autonomous driving. Combining generative image editing with dynamic Gaussian representations enables multi-weather scene reconstruction, but weather-edited images often contain structural distortions. Directly fitting their appearance may propagate errors from teacher images into the reconstructed 4D scene, compromising the original scene structure and temporal continuity. To address these challenges, we propose IGSW, a two-stage framework that combines intrinsic-decoupled 4D Gaussian scene modeling with structure-preserving weather refinement. In Stage I, background Gaussian appearance is decomposed into weather-shared albedo and normals and weather-specific irradiance and residuals. Weather teacher images generated by a diffusion-based image editing model and intrinsic maps estimated by a diffusion-based inverse renderer provide feature-level soft supervision for stable structure and illumination changes. In Stage II, a structure-preservation gate combines semantic conflicts with cross-weather intrinsic discrepancies to suppress unreliable teacher regions. Per-Gaussian weather transport variables and target-weather branches then strengthen the desired weather appearance over the intrinsic-decoupled scene. Experiments on nuScenes and Waymo show that IGSW achieves the highest content similarity and semantic consistency and the lowest temporal error among the compared methods, while retaining pronounced weather-dependent illumination and atmosphere. The project page is available at https://akaxi6.github.io/IGSW/ .