Visibility-Aware Reference Generation for Benchmarking Visual 3D Reconstruction in Vegetation-Rich Environments

📄 arXiv: 2611.05361v1 📥 PDF

作者: Zhipeng Zhong, Matthew Coombes, Cunjia Liu

分类: cs.CV, cs.RO

发布日期: 2026-11-03

备注: 20 pages, 12 figures

💡 一句话要点

提出基于LiDAR的参考生成管道以评估植被丰富环境中的3D重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 深度估计 LiDAR 可见性过滤 运动结构 植被环境 视觉几何模型

📋 核心要点

  1. 在植被丰富的环境中，现有的3D重建和深度估计方法面临几何真值数据稀缺和高成本的挑战。
  2. 本文提出了一种基于LiDAR的参考生成管道，利用现有数据集生成深度图和可见点云，以提高评估效果。
  3. 实验结果显示，结合HPR和LDGVS过滤的方案在点密度上提升了约三倍，同时保持了较低的绝对相对误差。

📝 摘要（中文）

在植被丰富的户外环境中，可靠评估视觉3D重建和深度估计受到几何真值数据稀缺和完整扫描调查成本的限制。本文提出了一种基于LiDAR的参考生成管道，用于评估前馈视觉几何模型与传统运动结构(SfM)方法的零-shot性能。该管道重用相机图像、LiDAR扫描和现有多传感器定位数据集中的参考姿态，以生成每视图深度图和可见参考点云。为了解决累积LiDAR扫描中的可见性错误，本文引入了大型深度间隙可见性评分(LDGVS)，用于逐点可见性过滤和隐藏点移除(HPR)中的自动尺度选择。实验结果表明，与适用于完整扫描调查的泊松表面重建相比，结合HPR和LDGVS过滤的方案在可比绝对相对误差下保留了约三倍的点密度。

🔬 方法详解

问题定义：本文旨在解决在植被丰富环境中进行视觉3D重建时，缺乏几何真值数据和高成本的完整扫描调查所带来的评估困难。现有方法在处理复杂场景时往往无法提供可靠的性能评估。

核心思路：论文提出的解决方案是通过重用相机图像、LiDAR扫描和多传感器定位数据集中的参考姿态，生成每视图的深度图和可见参考点云，从而实现对视觉几何模型的有效评估。

技术框架：整体架构包括数据重用模块、深度图生成模块和可见性过滤模块。首先，利用现有的相机图像和LiDAR数据生成深度图，然后通过LDGVS进行可见性过滤，最后进行隐藏点移除处理。

关键创新：引入了大型深度间隙可见性评分(LDGVS)，用于逐点可见性过滤和自动尺度选择，这一创新显著提高了点云的质量和密度。与传统方法相比，LDGVS能够更有效地处理可见性错误。

关键设计：在设计中，LDGVS的计算方式和HPR的参数设置是关键，确保了在复杂场景中能够自动选择合适的尺度，从而提高了重建的准确性和点云的密度。实验中采用了多种损失函数以优化深度图的生成。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，结合HPR和LDGVS过滤的方案在点密度上提升了约三倍，且在可比绝对相对误差下表现优异。这一结果显著优于传统的泊松表面重建方法，展示了新方法在复杂环境中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和环境监测等。通过提供可靠的3D重建评估方法，能够提升相关领域的技术水平和应用效果，推动智能系统在复杂环境中的应用。未来，该方法可能会影响更多的视觉计算任务，尤其是在植被丰富的场景中。

📄 摘要（原文）

Reliable evaluation of visual 3D reconstruction and depth estimation in vegetation-rich outdoor environments is limited by the scarcity of geometric ground-truth data and the cost of complete scanner surveys. We present a LiDARbased reference-generation pipeline for evaluating the zero-shot performance of feed-forward visual-geometry models alongside conventional structure-from-motion (SfM) methods. The pipeline reuses camera images, LiDAR scans, and reference poses from existing multi-sensor localization datasets to generate per-view depth maps and visible reference point clouds. To address visibility errors in accumulated LiDAR scans, we introduce the LargeDepth-Gap Visibility Score (LDGVS) for point-wise visibility filtering and automatic scale selection in Hidden Point Removal(HPR). Experiments on TartanAirV2 and TartanGround show that, compared with Poisson surface reconstruction, which is an approach suited to completed scan surveys, the combined HPR and LDGVS filtering retains approximately three times the point density at comparable absolute relative error. We also apply the pipeline to the BotanicGarden dataset to systematically compare depth estimation and 3D reconstruction methods. Feedforward methods produce dense depth predictions efficiently, but their 3D reconstructions can contain duplicated structures. Conventional SfM generally produces more coherent geometry, but its reconstructions remain sparse and more prone to failure in challenging vegetated scenes. The benchmark toolkit and datasets will be released.