Map-Det3D: Metric Feed-Forward 3D Reconstruction Prior for Multi-view 3D Object Detection from Streaming Inputs

📄 arXiv: 2608.12179v1 📥 PDF

作者: Yung-Hsu Yang, Luigi Piccinelli, Samuel Rota Bulò, Sunghwan Hong, Denis Rozumny, Johannes Schönberger, Zuria Bauer, Hermann Blum, Peter Kontschieder, Marc Pollefeys

分类: cs.CV

发布日期: 2026-08-12

备注: ECCV 2026

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Map-Det3D以解决单目视频中的3D物体检测问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D物体检测 单目视觉 深度学习 几何重建 在线检测 鲁棒性 自动驾驶

📋 核心要点

  1. 现有的单目3D检测方法在深度和绝对尺度方面存在不足，导致3D定位不稳定。
  2. 本文提出Map-Det3D，通过将检测直接引入从RGB重建的3D空间，避免了2D到3D的转换。
  3. 实验结果显示，Map-Det3D在多个基准测试中表现出色，支持在线性能和无适应性的稳健迁移。

📝 摘要（中文）

度量级3D物体检测是具身智能体的核心能力，但大多数可靠系统依赖深度传感器，导致成本和集成复杂性增加。单目3D检测虽然避免了这些限制，但面临深度和绝对尺度的不足约束。为了解决这一问题，本文提出了Map-Det3D，一个在线多视角3D物体检测模型，直接在从RGB重建的3D空间中进行检测。通过将短时间窗口映射到多个视角，并重新利用前馈度量3D重建模型作为几何基础，Map-Det3D能够直接在度量3D空间中预测边界框，避免了常用的2D到3D的提升过程。实验结果表明，该设计支持强大的在线性能和稳健的迁移能力，表明为检测训练重建先验是实现单目视频稳定度量3D检测的有效途径。

🔬 方法详解

问题定义：本文旨在解决单目视频中的3D物体检测问题，现有方法在深度和绝对尺度的估计上存在不足，导致3D定位的脆弱性。

核心思路：提出Map-Det3D模型，通过将检测过程直接嵌入到重建的3D空间中，避免了传统方法中2D到3D的转换，从而提高了检测的稳定性和准确性。

技术框架：该模型的整体架构包括一个短时间窗口的多视角映射和一个前馈度量3D重建模型作为几何基础，结合对象感知能力进行调优。

关键创新：Map-Det3D的主要创新在于直接在度量3D空间中进行边界框预测，避免了2D到3D的提升过程，这一设计显著提高了检测的鲁棒性。

关键设计：模型在参数设置上进行了优化，损失函数设计考虑了3D空间中的几何关系，网络结构则基于前馈重建模型进行调整，以增强对象感知能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准测试中，Map-Det3D展示了优异的性能，尤其是在没有适应性调整的情况下，仍能保持高准确度和鲁棒性。实验结果表明，该模型在3D检测任务中相较于传统方法有显著提升，具体性能数据未提供。

🎯 应用场景

Map-Det3D的研究成果在自动驾驶、机器人导航和增强现实等领域具有广泛的应用潜力。通过实现高效的3D物体检测，能够提升智能体在复杂环境中的交互能力和决策效率，推动相关技术的进步和实际应用的落地。

📄 摘要（原文）

Metric 3D object detection is a core capability for embodied agents, yet most reliable systems lean on depth sensors, trading away cost, power, and integration simplicity. This motivates monocular 3D detection, which avoids additional constraints, yet it faces a major obstacle: from a single image, depth, and especially absolute scale, are underconstrained. As a result, the prevailing pattern of detecting in 2D and then predicting 3D attributes is often brittle, since modest range errors can dominate 3D localization, and the learned scale prior can fail when cameras, motion, or environments undergo domain shifts. To address this, we propose Map-Det3D, an online multi-view 3D object detection model that brings detection directly into a 3D space reconstructed from RGB. We map a short temporal window into multiple views and repurpose a feed-forward metric 3D reconstruction model as our geometric backbone while tuning its object-aware capabilities. Building on this representation, Map-Det3D directly predicts boxes in metric 3D space, without the widely used 2D-to-3D lifting. Experiments across different benchmarks show that this design supports strong online performance and robust transfer without adaptation, suggesting that training reconstruction priors for detection is a practical route to stable metric 3D detection from monocular video. Code and models are available at https://royyang0714.github.io/Map-Det3D.