Visual Geometry Foundation-Aware Gaussians for Single-Frame Surround-View Driving Reconstruction

📄 arXiv: 2608.10682v1 📥 PDF

作者: Junhong Lin, Jinlong Wang, Xianda Guo, Yanlun Peng, Wei Zheng, Guoqing Liu, Hanli Wang, Tiesong Zhao, Wei Gao

分类: cs.CV

发布日期: 2026-08-11

💡 一句话要点

提出VGGD框架以解决单帧环视重建中的几何不稳定问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 单帧重建 几何一致性 高斯点云 视觉几何先验 自动驾驶 深度学习

📋 核心要点

  1. 现有的单帧环视重建方法在几何稳定性和渲染质量上存在显著不足，尤其是在相机间重叠区域有限的情况下。
  2. 本文提出的VGGD框架通过前端几何建模和视觉几何先验的利用，增强了上游特征的几何能力，从而缓解了几何模糊问题。
  3. 在nuScenes单帧基准测试中，VGGD在渲染质量和几何一致性方面均优于其他对比方法，显示出显著的性能提升。

📝 摘要（中文）

单帧环视重建面临严重的几何不稳定性和渲染伪影，主要由于相机间重叠区域较少。现有方法依赖复杂的解码器或辅助线索，但由于上游特征的几何能力不足，仍然存在瓶颈。本文提出VGGD，一个视觉几何基础感知的3D高斯点云框架，旨在通过前端几何建模和适应驾驶相机设置来增强上游表示。VGGD利用VGGT提供可转移的多视角几何先验标记，并引入双路径颈部结构以解耦几何一致性和外观感知表示，改善弱观察区域的外观补全。实验结果表明，VGGD在nuScenes单帧基准测试中实现了最佳的渲染质量和相对几何一致性。

🔬 方法详解

问题定义：本文旨在解决单帧环视重建中的几何不稳定性和渲染伪影问题，现有方法由于相机间重叠区域少，导致几何能力不足，影响重建效果。

核心思路：VGGD框架通过前端几何建模和视觉几何先验的引入，增强了上游特征的几何表示能力，从而减少几何模糊。

技术框架：VGGD的整体架构包括多个模块：首先，利用VGGT提供可转移的多视角几何先验标记；其次，引入双路径颈部结构以解耦几何和外观表示；最后，采用混合像素-体积高斯解码器生成可渲染的3D高斯场景。

关键创新：VGGD的主要创新在于将几何建模移至前端，并适应驾驶相机设置，显著提升了几何一致性和外观补全能力。

关键设计：在设计中，采用了双路径颈部结构以分别处理几何和外观信息，同时引入了Scale Warmup策略以稳定早期几何学习，抑制自我姿态变化下的尺度漂移。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在nuScenes单帧基准测试中，VGGD在渲染质量上达到了最佳效果，相较于其他对比方法，几何一致性有显著提升，具体性能数据未详细披露，但整体表现优于现有技术。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能交通系统和增强现实等。通过提高环视重建的几何一致性和渲染质量，VGGD能够为自动驾驶车辆提供更可靠的环境感知能力，进而提升行车安全性和用户体验。

📄 摘要（原文）

Single-frame surround-view reconstruction faces severe geometric instability and rendering artifacts due to minimal inter-camera overlap. While existing methods rely on complex decoders or auxiliary cues, they remain bottlenecked by the weak geometric capacity of upstream features. We argue that leveraging pretrained visual geometry priors strengthens upstream representations and alleviates the geometric ambiguity in sparse surround views. To this end, we propose VGGD, a visual geometry foundation-aware 3D Gaussian Splatting framework for feed-forward surround-view driving reconstruction, which shifts geometric modeling to the frontend and adapts foundation priors to the driving camera setting. First, VGGD leverages VGGT to provide transferable multi-view geometric prior tokens. Next, we introduce a Dual-Path Neck to decouple geometry-consistent and appearance-aware representations, improving appearance completion in weakly observed regions. We further apply Scale Warmup to stabilize early geometry learning and suppress scale drift under ego-pose changes. Finally, we use a hybrid pixel--volume Gaussian decoder to produce a renderable 3D Gaussian scene for novel-view synthesis. Experiments on the nuScenes single-frame benchmark show that VGGD achieves the best overall rendering quality among the compared methods and improves relative geometric consistency.