Scaling Multi-Camera 3D Object Detection through Weak-to-Strong Eliciting

📄 arXiv: 2404.06700v1 📥 PDF

作者: Hao Lu, Jiaqi Tang, Xinli Xu, Xu Cao, Yunpeng Zhang, Guoqing Wang, Dalong Du, Hao Chen, Yingcong Chen

分类: cs.CV

发布日期: 2024-04-10

🔗 代码/项目: GITHUB

💡 一句话要点

提出弱到强引导框架以提升多摄像头3D目标检测性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多摄像头检测 3D目标检测 周围精细化 弱到强引导 复合蒸馏 数据集合并 鸟瞰图表示

📋 核心要点

  1. 现有的MC3D-Det方法在多视图融合阶段依赖单目感知，导致周围精细化能力不足。
  2. 提出了一种弱到强的引导框架，通过训练偏向特定场景的专家来增强周围精细化能力。
  3. 实验结果表明，该框架在多个基线方法上显著提升了性能，验证了其有效性。

📝 摘要（中文）

多摄像头3D目标检测（MC3D-Det）的出现，得益于鸟瞰图（BEV）表示，标志着3D目标检测的显著进展。有效扩展MC3D-Det训练能够适应不同的摄像头参数和城市景观，为MC3D-Det基础模型铺平道路。然而，MC3D-Det方法的多视图融合阶段依赖于训练期间的单目感知，导致所谓的“周围精细化退化”。为此，我们提出了一种弱到强的引导框架，旨在增强周围精细化能力，同时保持稳健的单目感知。具体而言，我们的框架采用在不同子集上训练的弱调专家，每个专家固有地偏向特定的摄像头配置和场景。这些偏向的专家能够学习单目退化的感知，从而帮助多视图融合阶段提升周围精细化能力。此外，提出了一种复合蒸馏策略，以整合2D基础模型的通用知识和任务特定信息。最后，为MC3D-Det联合训练设计了详细的数据集合并策略，以解决摄像头数量和参数不一致的问题。

🔬 方法详解

问题定义：本论文旨在解决多摄像头3D目标检测中的周围精细化退化问题，现有方法在多视图融合阶段依赖单目感知，导致性能不足。

核心思路：提出一种弱到强的引导框架，通过训练多个偏向特定摄像头配置的专家，增强周围精细化能力，同时保持单目感知的稳健性。

技术框架：整体架构包括弱调专家的训练、复合蒸馏策略的应用以及数据集的合并策略。专家在不同子集上训练，融合阶段则利用这些专家的知识。

关键创新：最重要的创新在于引入弱到强的引导框架和复合蒸馏策略，这与现有方法的单一视角训练方式有本质区别，能够有效提升周围精细化能力。

关键设计：在参数设置上，采用了针对不同摄像头配置的专家网络，损失函数设计考虑了多视图融合的特性，网络结构上结合了2D基础模型的知识与任务特定信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的框架在多个基线方法上实现了显著提升，具体性能提升幅度达到XX%，验证了其在复杂场景下的有效性和通用性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能监控和增强现实等场景，能够在复杂城市环境中实现更高效的3D目标检测。其实际价值在于提升多摄像头系统的感知能力，为未来的智能交通和安全监控提供支持。

📄 摘要（原文）

The emergence of Multi-Camera 3D Object Detection (MC3D-Det), facilitated by bird's-eye view (BEV) representation, signifies a notable progression in 3D object detection. Scaling MC3D-Det training effectively accommodates varied camera parameters and urban landscapes, paving the way for the MC3D-Det foundation model. However, the multi-view fusion stage of the MC3D-Det method relies on the ill-posed monocular perception during training rather than surround refinement ability, leading to what we term "surround refinement degradation". To this end, our study presents a weak-to-strong eliciting framework aimed at enhancing surround refinement while maintaining robust monocular perception. Specifically, our framework employs weakly tuned experts trained on distinct subsets, and each is inherently biased toward specific camera configurations and scenarios. These biased experts can learn the perception of monocular degeneration, which can help the multi-view fusion stage to enhance surround refinement abilities. Moreover, a composite distillation strategy is proposed to integrate the universal knowledge of 2D foundation models and task-specific information. Finally, for MC3D-Det joint training, the elaborate dataset merge strategy is designed to solve the problem of inconsistent camera numbers and camera parameters. We set up a multiple dataset joint training benchmark for MC3D-Det and adequately evaluated existing methods. Further, we demonstrate the proposed framework brings a generalized and significant boost over multiple baselines. Our code is at \url{https://github.com/EnVision-Research/Scale-BEV}.