OV-Uni3DETR: Towards Unified Open-Vocabulary 3D Object Detection via Cycle-Modality Propagation
作者: Zhenyu Wang, Yali Li, Taichi Liu, Hengshuang Zhao, Shengjin Wang
分类: cs.CV
发布日期: 2024-03-28 (更新: 2024-07-23)
备注: Accepted by ECCV2024
💡 一句话要点
提出OV-Uni3DETR以解决3D目标检测中的开放词汇问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D目标检测 开放词汇 循环模态传播 多模态融合 自动驾驶 机器人导航 增强现实
📋 核心要点
- 现有3D目标检测方法面临注释数据匮乏和模态差异大的挑战，缺乏统一的检测架构。
- OV-Uni3DETR通过循环模态传播实现开放词汇3D检测，支持多模态输入和测试时模态切换。
- 该方法在多种场景下表现出色，平均性能提升超过6%，仅使用RGB图像的效果优于传统点云方法。
📝 摘要（中文）
在当前的3D目标检测研究中，注释3D数据的严重匮乏、不同数据模态之间的显著差异以及缺乏统一架构，阻碍了通用性的进展。本文提出了OV-Uni3DETR，一个通过循环模态传播实现的统一开放词汇3D检测器。与现有3D检测器相比，OV-Uni3DETR具有明显优势：1) 开放词汇3D检测，利用多种可获取数据，尤其是大量2D检测图像，增强训练多样性；2) 模态统一，能够无缝适应任何给定模态的输入数据，支持测试时模态切换；3) 场景统一，为不同传感器收集的多样场景提供统一的多模态模型架构。OV-Uni3DETR在各种场景下实现了最先进的性能，平均超越现有方法6%以上，仅使用RGB图像的性能与基于点云的方法相当或更优。代码和预训练模型将随后发布。
🔬 方法详解
问题定义：论文旨在解决3D目标检测中注释数据不足、模态差异和缺乏统一架构的问题。现有方法在处理不同模态数据时效率低下，且无法有效利用2D数据进行3D检测。
核心思路：OV-Uni3DETR的核心思路是通过循环模态传播技术，将2D和3D模态之间的知识进行有效传播，从而实现开放词汇的3D检测。该方法利用丰富的2D数据来增强3D检测的多样性和准确性。
技术框架：OV-Uni3DETR的整体架构包括多个模块，首先是数据输入模块，支持不同模态的数据输入；其次是循环模态传播模块，负责知识的传递与融合；最后是检测模块，进行目标检测和分类。
关键创新：该研究的关键创新在于循环模态传播技术，能够有效地将2D语义知识引导3D领域的新类别发现，同时利用3D几何知识为2D检测图像提供定位监督。这一设计与现有方法的本质区别在于其开放词汇能力和模态统一性。
关键设计：在参数设置上，OV-Uni3DETR采用了特定的损失函数以平衡2D和3D数据的训练；网络结构上，设计了多层次的特征提取模块，以适应不同模态的输入特征。
🖼️ 关键图片
📊 实验亮点
OV-Uni3DETR在多种场景下实现了最先进的性能，平均超越现有方法6%以上。使用仅RGB图像的情况下，其性能与传统的点云方法相当或更优，显示出其在实际应用中的强大能力。
🎯 应用场景
OV-Uni3DETR在自动驾驶、机器人导航和增强现实等领域具有广泛的应用潜力。其开放词汇的特性使得系统能够在未知环境中进行有效的目标检测，提升了智能系统的适应能力和灵活性。未来，该技术可能推动更多跨模态学习和多任务学习的研究，促进智能感知技术的发展。
📄 摘要（原文）
In the current state of 3D object detection research, the severe scarcity of annotated 3D data, substantial disparities across different data modalities, and the absence of a unified architecture, have impeded the progress towards the goal of universality. In this paper, we propose \textbf{OV-Uni3DETR}, a unified open-vocabulary 3D detector via cycle-modality propagation. Compared with existing 3D detectors, OV-Uni3DETR offers distinct advantages: 1) Open-vocabulary 3D detection: During training, it leverages various accessible data, especially extensive 2D detection images, to boost training diversity. During inference, it can detect both seen and unseen classes. 2) Modality unifying: It seamlessly accommodates input data from any given modality, effectively addressing scenarios involving disparate modalities or missing sensor information, thereby supporting test-time modality switching. 3) Scene unifying: It provides a unified multi-modal model architecture for diverse scenes collected by distinct sensors. Specifically, we propose the cycle-modality propagation, aimed at propagating knowledge bridging 2D and 3D modalities, to support the aforementioned functionalities. 2D semantic knowledge from large-vocabulary learning guides novel class discovery in the 3D domain, and 3D geometric knowledge provides localization supervision for 2D detection images. OV-Uni3DETR achieves the state-of-the-art performance on various scenarios, surpassing existing methods by more than 6\% on average. Its performance using only RGB images is on par with or even surpasses that of previous point cloud based methods. Code and pre-trained models will be released later.