Learning Gaussian Structure: Intervention-Guided Density Control for Feed-Forward Driving Reconstruction

📄 arXiv: 2608.11077v1 📥 PDF

作者: Hang Li, Jiahe Li, Meiying Gu, Jin Zheng, Lina Yu, Xiao Bai

分类: cs.CV

发布日期: 2026-08-11

💡 一句话要点

提出学习高斯结构以解决驱动场景重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 高斯重建 场景重建 干预引导 密度控制 自动驾驶 三维重建 特征聚合

📋 核心要点

  1. 现有的LiDAR方法在场景重建中未能有效优化高斯原语的表示，导致重建效果受限。
  2. 本文提出的学习高斯结构框架通过干预引导的密度控制，动态调整高斯结构以提高重建质量。
  3. 在Waymo Open Dataset和PandaSet上的实验结果显示，LGS方法在性能上显著优于现有技术，提升了重建的准确性。

📝 摘要（中文）

近年来，前馈高斯重建作为一种高效的驱动场景重建方法逐渐受到关注。然而，现有基于LiDAR的方法在处理观察点与高斯原语之间的初始对应关系时，未能有效优化场景表示。本文提出了学习高斯结构（LGS）框架，通过干预引导的密度控制，增强高斯结构和原语属性。我们发现局部梯度响应的变化可以揭示结构调整对重建的影响，从而设计出高斯密度策略，学习密度图并在推理过程中直接调整高斯结构。实验结果表明，LGS在Waymo Open Dataset和PandaSet上均优于现有方法。

🔬 方法详解

问题定义：本文旨在解决现有基于LiDAR的高斯重建方法在场景表示优化方面的不足，特别是无法有效利用训练过程中的梯度信息来改善重建效果。

核心思路：论文提出的学习高斯结构（LGS）框架，通过干预引导的密度控制，利用局部梯度响应的变化来判断结构调整的有效性，从而动态优化高斯结构。

技术框架：LGS框架包括高斯密度策略和跨时间点查询模块。高斯密度策略通过学习密度图来调整高斯原语，而跨时间点查询模块则用于从不同时间戳的高斯原语中聚合特征。

关键创新：LGS的核心创新在于通过干预引导的方式学习高斯结构的密度图，这一方法与传统的优化方法不同，能够在推理过程中直接调整高斯结构。

关键设计：在设计上，LGS采用了特定的损失函数来优化高斯原语的属性，并通过稀疏骨干网络来实现跨时间特征的聚合，确保了高效的特征提取与融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Waymo Open Dataset和PandaSet上的实验结果表明，LGS方法在重建精度上相较于现有技术有显著提升，具体性能数据展示了在多个指标上均超越了基线模型，提升幅度达到XX%。

🎯 应用场景

该研究在自动驾驶、机器人导航等领域具有重要应用潜力。通过提高场景重建的准确性，LGS能够为智能交通系统提供更可靠的环境感知，进而提升自动驾驶的安全性和效率。未来，该方法还可能扩展到其他需要高精度三维重建的应用场景，如虚拟现实和增强现实。

📄 摘要（原文）

Feed-forward Gaussian reconstruction has recently emerged as an efficient approach for driving scene reconstruction. However, prevailing LiDAR-based methods preserve the initial correspondence between observed points and Gaussian primitives, treating the initialized primitive set as the final representation. Unlike optimization-based 3DGS, these methods cannot accumulate gradients during training to determine how the scenes representation should be densified. Meanwhile, the shared sparse backbone only fuses observations from different timestamps implicitly, without explicitly aggregating cross-time evidence for individual primitives. In this paper, we present Learning Gaussian Structure (LGS), a framework that enhances both Gaussian structure and primitive attributes. Our key observation is that changes in local gradient responses induced by a prune or add intervention reveal whether the corresponding structural adjustment benefits reconstruction. Based on this observation, our Gaussian Densify Policy learns a Densify Map comprising Prune and Addition Scores from controlled interventions, and directly adjusts the Gaussian structure during inference. We further develop a compact Cross-Time Point Query that explicitly retrieves and aggregates neighboring features from Gaussian primitives at other timestamps for reliable attribute prediction. Extensive experiments on the Waymo Open Dataset and PandaSet demonstrate that LGS consistently outperforms existing methods.