Shell-Supervised Gaussian Splatting for Urban Real-to-Sim Reconstruction
作者: Yuan Yang, Peijun Lu, Fangzhou Lu, Sai Fan, Siqi Yan, Chenyuan Zhang, Haobo Liang, Yichen Wang
分类: cs.CV
发布日期: 2026-06-29
备注: 10 pages main paper, 2 pages supplementary material
💡 一句话要点
提出壳监督高斯点云重建以解决城市近景重建问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 高斯点云重建 几何监督 城市环境 虚拟现实 增强现实 自动驾驶 深度学习
📋 核心要点
- 现有的真实到模拟重建方法在城市近景立面重建中面临挑战，尤其是在处理复杂的玻璃和反射时，导致几何不稳定。
- 本文提出了一种壳监督高斯点云重建框架，通过对外部立面结构壳的利用，提供轻量级的几何监督以改善重建质量。
- 实验结果显示，所提方法在立面方向和可见表面点云一致性方面优于现有的多种基线方法，同时保持了相似的渲染质量。
📝 摘要（中文）
针对具身人工智能的真实到模拟重建，几何结构不仅需具备碰撞推理、导航和环境交互的能力，还需克服城市近景立面重建中的挑战。现有方法在处理玻璃、反射、重复窗户和弱纹理时，容易产生视觉上可信但几何不稳定的渲染。本文提出壳监督高斯点云重建框架，利用外部立面结构壳作为轻量几何监督，通过对视频驱动的高斯重建进行优化，显著提升了立面方向和可见表面点云的一致性。实验结果表明，该方法在保持渲染质量的同时，优于仅依赖照片、单目线索和表面导向的基线方法。
🔬 方法详解
问题定义：本文旨在解决城市近景立面重建中的几何不稳定性问题，现有方法在处理复杂环境时容易产生视觉上可信但几何不准确的结果。
核心思路：提出壳监督高斯点云重建框架，通过引入外部立面结构壳作为几何监督，优化视频驱动的高斯重建过程，以提升几何稳定性和准确性。
技术框架：该方法包括几个主要模块：首先对外部立面壳进行对齐，然后渲染每个视角的深度、相机空间法线和有效掩码图，最后在高斯优化过程中应用掩码门控损失。
关键创新：最重要的创新在于利用外部立面结构壳作为几何监督，这一设计使得在优化过程中仅对可见的壳支持区域进行正则化，从而保持了RGB驱动的外观。
关键设计：在损失函数中引入掩码门控机制，确保优化过程专注于可见区域，同时保持高质量的渲染效果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提方法在立面方向和可见表面点云一致性方面相较于仅依赖照片、单目线索和表面导向的基线方法有显著提升，具体表现为在可见表面点云一致性上提高了XX%（具体数据未知），同时保持了相似的渲染质量。
🎯 应用场景
该研究的潜在应用领域包括城市环境的虚拟现实、增强现实以及自动驾驶等场景。通过提供更为稳定和准确的几何重建，能够显著提升智能体在复杂环境中的导航和交互能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Real-to-sim reconstruction for embodied AI requires geometry that is useful for collision reasoning, navigation, and agent-environment interaction, not only photorealistic novel-view synthesis. However, close-range urban facades are difficult for video-to-3D reconstruction: glass, reflections, repeated windows, and weak texture can produce visually plausible renderings with unstable surface geometry. We introduce shell-supervised Gaussian Splatting, a reconstruction-stage framework that uses an external facade structural shell as lightweight geometric supervision for video-driven Gaussian reconstruction. The method aligns an exterior shell to the video reconstruction frame, renders per-view depth, camera-space normal, and valid-mask maps, and applies these cues through mask-gated losses during Gaussian optimization. This design preserves RGB-driven appearance while regularizing only visible shell-supported facade regions. Experiments on anonymized close-range urban facade scenes show improved facade orientation and visible-surface point-cloud consistency over photo-only, monocular-cue, and surface-oriented Gaussian baselines, while maintaining comparable held-out rendering quality.