DrivingDepth: Sparse-Prompted Pixel-wise Scale Correction for Driving Depth Estimation
作者: Chi Huang, Wenhao Zhang, Hang Yin, YuAn Wang, Hao Li, Bosheng Wang, Xun Sun, Liang Wang
分类: cs.CV
发布日期: 2026-06-30
💡 一句话要点
提出DrivingDepth以解决自动驾驶深度估计中的几何尺度冲突问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 深度估计 自动驾驶 几何校正 LiDAR 计算机视觉 基础模型 稀疏提示 视觉几何
📋 核心要点
- 现有的深度估计方法在整合LiDAR数据时，往往会导致几何结构的伪影，影响深度估计的准确性。
- DrivingDepth通过将稀疏的LiDAR视为几何提示，采用每像素尺度因子映射来校正基础模型的深度估计，避免了重新生成深度的过程。
- 在nuScenes数据集上，DrivingDepth的性能显著提升，AbsRel达到11.19，EdgeCR为5.741，超越了现有的基线方法MapAnything。
📝 摘要（中文）
自动驾驶中的密集深度估计面临几何尺度冲突：深度基础模型提供像素对齐的密集视觉几何，但缺乏可靠的度量尺度，而投影的LiDAR提供稀疏、噪声和与图像结构不对齐的度量锚点。现有的稀疏提示方法通过从头再生深度来整合LiDAR，覆盖了基础模型的一致几何，导致在视觉连续表面上产生结构伪影。我们的关键见解是，基础模型已经捕捉到几何一致的相对深度；只需一个每像素尺度因子映射相对几何到度量坐标。基于此，我们提出DrivingDepth，将稀疏LiDAR视为几何提示，通过残差像素级尺度校正局部校准冻结的基础先验，从而在构建上保留密集视觉几何。在nuScenes数据集上，DrivingDepth在4帧环视输入下实现了11.19的AbsRel和5.741的EdgeCR，超越了MapAnything（11.99/1.914），同时提供了最先进的度量准确性和几何一致性。
🔬 方法详解
问题定义：论文要解决的具体问题是如何有效整合稀疏的LiDAR数据与深度基础模型，以克服几何尺度冲突。现有方法通过重新生成深度，导致几何一致性受损，产生伪影。
核心思路：论文的核心解决思路是利用基础模型已经捕捉到的几何一致的相对深度，仅需通过每像素尺度因子进行校正，而无需额外的表面结构学习。
技术框架：整体架构包括输入的稀疏LiDAR数据作为几何提示，随后通过残差像素级尺度校正来调整基础模型的深度估计，最终输出校正后的深度图。
关键创新：最重要的技术创新点在于提出了通过稀疏LiDAR进行局部校准的方法，避免了现有方法中重新生成深度的需求，从而保留了基础模型的几何一致性。
关键设计：在设计中，采用了每像素尺度因子映射的方式，确保了深度估计的准确性，同时在损失函数中考虑了几何一致性，以优化模型的性能。
🖼️ 关键图片
📊 实验亮点
DrivingDepth在nuScenes数据集上取得了显著的实验结果，AbsRel为11.19，EdgeCR为5.741，相比于基线方法MapAnything的11.99和1.914，展示了在度量准确性和几何一致性上的优势，标志着该方法在深度估计领域的领先地位。
🎯 应用场景
该研究在自动驾驶领域具有广泛的应用潜力，能够提高车辆在复杂环境中的深度感知能力，进而提升自动驾驶系统的安全性和可靠性。未来，该方法也可扩展到其他需要深度估计的计算机视觉任务中，如机器人导航和增强现实等。
📄 摘要（原文）
Dense depth estimation for autonomous driving faces a geometry-scale conflict: depth foundation models deliver pixel-aligned dense visual geometry without reliable metric scale, while projected LiDAR provides metric anchors that are sparse, noisy, and misaligned with image structures. Existing sparse-prompted methods incorporate LiDAR by regenerating depth from scratch, overriding the foundation model's coherent geometry and producing structural artifacts on visually continuous surfaces. Our key insight is that foundation models already capture geometrically coherent relative depth; no additional surface structure learning is required-only a per-pixel scale factor mapping relative geometry to metric coordinates. Based on this, we propose DrivingDepth, which treats sparse LiDAR as geometric prompts that locally calibrate a frozen foundation prior through residual pixel-wise scale correction, preserving dense visual geometry by construction. On nuScenes with 4-frame surround-view input, DrivingDepth achieves an AbsRel of 11.19 and an EdgeCR of 5.741, outperforming MapAnything (11.99/1.914) by simultaneously delivering SOTA metric accuracy and geometric consistency.