SatSplatDiff: Geometry-preserving generative refinement for high-fidelity satellite Gaussian Splatting
作者: Jiyong Kim, Shuang Song, Ronjgun Qin
分类: cs.CV
发布日期: 2026-06-25
备注: 23 pages, 15 figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出SatSplatDiff以解决卫星图像生成中的几何降解问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 卫星图像生成 几何降解 视觉保真度 生成细化 深度监督 阴影引导
📋 核心要点
- 现有的Gaussian Splatting方法在卫星图像生成中存在几何降解和视觉一致性不足的问题。
- 本文提出SatSplatDiff，通过引入单目深度监督和阴影引导生成细化，改善生成图像的几何一致性和视觉质量。
- 在IARPA2016和DFC2019数据集上，SatSplatDiff实现了几何MAE降低18%和视觉保真度提升28-45%的显著效果。
📝 摘要（中文）
Gaussian Splatting最近被用于卫星3D重建，展现了在表示辐射多样性卫星场景方面的灵活性和效率。然而，由于卫星图像的视角限制，建筑立面的监督不足，导致表面孔洞和视觉质量下降。为了解决这些问题，本文提出了SatSplatDiff，通过引入单目深度监督和多尺度几何细化，建立几何准确且良好正则化的表面表示。通过阴影引导生成细化，确保高视觉保真度的同时减少几何降解。实验结果表明，该方法在IARPA2016和DFC2019数据集上实现了最先进的性能，几何MAE降低了18%，视觉保真度提高了28-45%。
🔬 方法详解
问题定义：本文旨在解决卫星图像生成中由于视角限制导致的几何降解和视觉一致性不足的问题。现有的生成细化方法往往独立处理每个视图，容易产生幻觉和破坏照片一致性。
核心思路：SatSplatDiff通过引入单目深度监督和阴影引导生成细化，确保生成图像在几何上与真实场景保持一致，从而提高视觉保真度并减少几何降解。
技术框架：该方法基于前期工作SatSplat，首先进行光测量数字表面模型（DSM）初始化，然后通过多尺度几何细化建立准确的表面表示，最后应用阴影引导生成细化。
关键创新：最重要的创新在于引入阴影引导机制，使得生成的高斯点云在几何上与真实场景保持一致，显著减少了生成图像的几何降解。
关键设计：在模型设计中，采用了多尺度的几何细化策略，并结合了深度监督信息，以确保生成图像的几何准确性和视觉一致性。
📊 实验亮点
实验结果显示，SatSplatDiff在IARPA2016和DFC2019数据集上实现了最先进的性能，几何MAE降低了18%，视觉保真度（FID-CLIP）提高了28-45%。此外，该方法还实现了高达5倍的分辨率提升，保持了最小的幻觉和传感器一致性。
🎯 应用场景
该研究在卫星图像处理、城市建模和环境监测等领域具有广泛的应用潜力。通过提高卫星图像的生成质量，SatSplatDiff能够为城市规划、灾害评估和资源管理等提供更为精确的视觉数据，推动相关领域的研究与应用发展。
📄 摘要（原文）
Gaussian Splatting has been recently explored for satellite 3D reconstruction, demonstrating flexibility and efficiency in representing radiometrically diverse satellite scenes. However, the limited top viewpoint of satellite imagery results in insufficient supervision on building facades, leaving surface holes and degraded visual fidelity. Generative refinement, which leverages pretrained generative priors to iteratively refine and update the rendered images used as supervision targets, has recently been investigated to improve the visual fidelity of Gaussian-rendered images. However, since these models refine each view independently, the resulting images can generate hallucinations and break photo-consistency, leading to geometric degradation. To address these limitations, we propose SatSplatDiff, which aims to minimize geometric degradation prevalent in generative refinement. Building on photogrammetric DSM initialization and 2DGS-based shadow casting established in our prior work SatSplat, we first introduce monocular depth supervision and multi-scale geometric refinement to establish a geometrically accurate and well-regularized surface representation. We then apply shadow-guided generative refinement, where geometrically calculated shadow maps guide the Gaussians to maintain consistency with the underlying geometry, improving visual fidelity while reducing geometric degradation. Extensive evaluations on the IARPA2016 and DFC2019 datasets demonstrate state-of-the-art performance, reducing geometric MAE by up to 18% and improving visual fidelity (FID-CLIP) by 28-45% over existing baselines. Our method delivers up to 5x resolution enhancement with minimal hallucination and sensor-consistent appearance, demonstrating seamless cross-tile consistency and strong scalability for large-scale reconstruction. Source code is available at https://github.com/GDAOSU/SatSplatDiff