Radar-Guided Polynomial Fitting for Metric Depth Estimation

📄 arXiv: 2503.17182 📥 PDF

作者: Patrick Rim, Hyoungseob Park, Vadim Ezhov, Jeffrey Moon, Alex Wong

分类: cs.CV

发布日期: 2026-06-12


💡 一句话要点

提出POLAR以解决单目深度估计的度量深度转换问题

🎯 匹配领域: 支柱二:RL算法与架构 (RL & Architecture) 支柱三:空间感知与语义 (Perception & Semantics)

关键词: 深度估计 多项式拟合 雷达数据 单目视觉 计算机视觉 自动驾驶 机器人导航

📋 核心要点

  1. 现有的单目深度估计方法在局部区域内推断深度结构合理,但区域间的错位问题导致仿射变换不足以校正深度图。
  2. POLAR方法通过使用雷达数据预测的多项式系数,非均匀调整深度预测,超越了传统的仿射变换,能够引入拐点以纠正错位。
  3. POLAR在三个数据集上实现了最先进的性能,MAE平均提升24.9%,RMSE提升33.2%,同时在计算效率上表现优异。

📝 摘要(中文)

我们提出了POLAR,一种新颖的雷达引导深度估计方法,通过多项式拟合高效地将预训练的单目深度估计模型的无尺度深度预测转换为度量深度图。与依赖复杂架构或昂贵传感器的现有方法不同,我们的方法基于一个基本的洞察:尽管单目深度估计模型通常能够推断出每个物体或局部区域内合理的局部深度结构,但它们可能会导致这些区域之间的错位,使得线性缩放和偏移(仿射)变换不足以处理三个或更多区域。为了解决这一局限性,我们利用来自廉价、普遍的雷达数据预测的多项式系数,非均匀地调整不同深度范围内的预测。通过引入拐点,POLAR超越了仿射变换,能够纠正这种错位。我们的多项式拟合框架通过一种新颖的训练目标保持结构一致性,该目标通过一阶导数正则化强制局部单调性。POLAR在三个数据集上实现了最先进的性能,平均在MAE上超越现有方法24.9%,在RMSE上超越33.2%,同时在延迟和计算成本方面也达到了最先进的效率。

🔬 方法详解

问题定义:论文要解决的是如何将单目深度估计模型的无尺度深度预测有效转换为度量深度图。现有方法的痛点在于,尽管局部深度结构合理,但不同区域之间的错位使得简单的仿射变换无法有效校正。

核心思路:论文的核心解决思路是利用来自雷达的多项式系数,非均匀地调整深度预测,以便更好地处理区域间的错位问题。通过引入多项式拟合,POLAR能够在不同深度范围内自适应地进行调整。

技术框架:整体架构包括数据采集、深度预测、雷达数据处理和多项式拟合四个主要模块。首先,使用预训练的单目深度估计模型生成初步深度预测,然后结合雷达数据进行多项式系数的预测,最后通过多项式拟合调整深度图。

关键创新:最重要的技术创新点在于引入多项式拟合来处理深度预测中的错位问题,这与现有方法的线性仿射变换形成了本质区别。POLAR能够通过引入拐点来实现更复杂的深度调整。

关键设计:在关键设计上,论文提出了一种新的训练目标,通过一阶导数正则化来强制局部单调性,从而保持结构一致性。此外,参数设置和损失函数的设计也经过精心调整,以确保多项式拟合的有效性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

POLAR在三个数据集上实现了最先进的性能,MAE平均提升24.9%,RMSE提升33.2%。此外,该方法在延迟和计算成本方面也表现出色,显示出其在实际应用中的高效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景。在这些领域中,准确的深度估计对于环境感知和决策至关重要。POLAR方法的高效性和准确性将为这些应用提供更可靠的深度信息,推动相关技术的发展。

📄 摘要(原文)

We propose POLAR, a novel radar-guided depth estimation method that introduces polynomial fitting to efficiently transform scaleless depth predictions from pretrained monocular depth estimation (MDE) models into metric depth maps. Unlike existing approaches that rely on complex architectures or expensive sensors, our method is grounded in a fundamental insight: although MDE models often infer reasonable local depth structure within each object or local region, they may misalign these regions relative to one another, making a linear scale and shift (affine) transformation insufficient given three or more of these regions. To address this limitation, we use polynomial coefficients predicted from cheap, ubiquitous radar data to adaptively adjust predictions non-uniformly across depth ranges. In this way, POLAR generalizes beyond affine transformations and is able to correct such misalignments by introducing inflection points. Importantly, our polynomial fitting framework preserves structural consistency through a novel training objective that enforces local monotonicity via first-derivative regularization. POLAR achieves state-of-the-art performance across three datasets, outperforming existing methods by an average of 24.9% in MAE and 33.2% in RMSE, while also achieving state-of-the-art efficiency in terms of latency and computational cost.