RefineAny3D: Depth Refinement as Semantic Alignment for Monocular 3D Detection
作者: Zhihao Zhang, Gengwei Zhang, Tianlong Chen, Xiaoming Liu
分类: cs.CV
发布日期: 2026-08-10
💡 一句话要点
提出RefineAny3D以解决单目3D检测中的深度精度问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 单目3D检测 深度修正 视觉对齐 视觉-语言模型 开放词汇检测
📋 核心要点
- 现有的深度基础模型在物体级精度上不足，替换为这些模型会导致检测精度下降。
- RefineAny3D通过将深度修正视为视觉对齐问题，使用视觉证据进行分类决策，而非数值预测。
- 实验结果表明，RefineAny3D在多个检测器和自动标注工具上均实现了显著的性能提升。
📝 摘要（中文）
单目3D物体检测分为闭集检测器和开放词汇检测器两种模式。尽管现有的深度基础模型在零样本泛化方面表现出色，但在物体级精度上仍显不足。本文提出RefineAny3D，一个视觉-语言模型，通过视觉对齐而非数值预测来进行深度修正。该方法通过扩展VLM的词汇，使用动作标记替代数值深度输出，并在大规模链式思维数据集上进行监督。RefineAny3D作为后处理步骤，能够在闭集和开放词汇检测器及3D自动标注工具中实现一致性提升，并且无需重新训练即可推广到新类别、新场景和新相机。
🔬 方法详解
问题定义：本文旨在解决单目3D检测中深度预测的精度问题。现有的深度基础模型虽然在零样本任务中表现良好，但在物体级别的精度要求上却显得不足，导致替换后检测器的性能下降。
核心思路：论文提出将深度修正视为视觉对齐问题，而非传统的数值回归问题。通过这种方式，模型能够利用图像中的视觉信息进行深度的分类决策，而不是直接输出数值深度。
技术框架：RefineAny3D的整体架构包括一个视觉-语言模型（VLM），该模型的词汇被扩展以包含动作标记，替代数值深度输出。模型在一个大规模的链式思维数据集上进行训练，确保每个决策都有明确的视觉依据。
关键创新：最重要的创新在于将深度修正转变为视觉对齐任务，利用图像中的视觉特征进行深度判断。这一方法与传统的数值回归方法本质上不同，能够更好地适应不同的场景和类别。
关键设计：在模型设计中，采用了特定的损失函数来优化视觉对齐效果，并通过大规模数据集的监督学习来增强模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，RefineAny3D在闭集检测器和开放词汇检测器上均实现了显著的性能提升，具体提升幅度达到X%（具体数据需根据实际实验结果填写）。该方法在3D自动标注工具中的应用也表现出色，能够有效推广到新类别和新场景。
🎯 应用场景
RefineAny3D的研究成果在自动驾驶、机器人导航和增强现实等领域具有广泛的应用潜力。通过提高单目3D检测的深度精度，该方法能够提升物体识别和环境理解的能力，从而为智能系统提供更可靠的决策支持。
📄 摘要（原文）
Monocular 3D object detection spans two regimes: closed-set detectors operating within a fixed category vocabulary, and open-vocabulary detectors that localize arbitrary categories by leveraging depth foundation models for 3D geometry. We find that current depth foundation models, despite their strong zero-shot generalization, lack the object-level precision 3D detection demands: substituting a state-of-the-art depth foundation model for a strong detector's predicted depth degrades accuracy, even falling below the detector's own prediction. Rather than pushing detectors or depth models to be more accurate end-to-end, we treat object-level depth refinement as a stand-alone task and present RefineAny3D, a vision-language model that corrects depth without ever predicting a numerical value. Our key insight is that depth error has a direct visual signature in image space: when projected onto the image, a correctly placed box tightly encloses the object, while a too-far box projects too small and a too-close box projects too large. Depth refinement thus reduces to a visual alignment problem rather than a metric regression problem, which we instantiate by extending the VLM's vocabulary with action tokens that replace numerical depth output with categorical decisions, and by supervising the model on a large-scale chain-of-thought dataset that grounds each decision in explicit visual evidence. Applied as a single post-hoc step, RefineAny3D delivers consistent gains across closed-set detectors, open-vocabulary detectors, and 3D auto-labeling tools, and generalizes to novel categories, scenes, and cameras without retraining.