Multimodal-Enhanced Objectness Learner for Corner Case Detection in Autonomous Driving

📄 arXiv: 2402.02026v2 📥 PDF

作者: Lixing Xiao, Ruixiao Shi, Xiaoyang Tang, Yi Zhou

分类: cs.CV, cs.AI

发布日期: 2024-02-03 (更新: 2024-09-28)

备注: Accepted to 2024 IEEE International Conference on Image Processing (ICIP) as oral presentation

DOI: 10.1109/ICIP51287.2024.10647363

🔗 代码/项目: GITHUB

💡 一句话要点

提出多模态增强物体性学习器以解决自动驾驶中的角落案例检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 物体检测 角落案例 自动驾驶 半监督学习

📋 核心要点

  1. 现有物体检测方法在开放世界场景中的角落案例检测表现不佳，主要依赖视觉信息，泛化能力不足。
  2. 本文提出多模态增强物体性学习器（MENOL），通过结合视觉和图像-文本模态，减少已知类与未知类之间的差异。
  3. MENOL在CODA-val数据集上表现出色，使用仅5100张标注图像，显著提高了对新类的召回率。

📝 摘要（中文）

现有的物体检测方法在封闭场景中取得了高准确率，但在开放世界场景中的表现不尽如人意。角落案例检测是自动驾驶中的一大挑战，现有检测器在这些案例中表现不佳，主要依赖视觉外观，且泛化能力较差。本文提出了一种通过减少已知类与未知类之间差异的解决方案，并引入了多模态增强物体性学习器（MENOL）。该框架结合视觉和图像-文本模态，采用半监督学习方法，将物体性知识传递给学生模型，实现类感知检测。实验结果表明，MENOL在CODA-val数据集上取得了76.6%的mAR-corner和79.8%的mAR-agnostic，显著优于基线ORE，分别提升了71.3%和60.6%。

🔬 方法详解

问题定义：本文旨在解决自动驾驶中角落案例检测的挑战，现有方法在开放世界场景中依赖视觉信息，导致泛化能力不足，难以有效识别未知类。

核心思路：提出多模态增强物体性学习器（MENOL），通过结合视觉和图像-文本模态，减少已知类与未知类之间的差异，从而提升检测性能。

技术框架：MENOL采用半监督学习框架，主要包括知识传递模块和类感知检测模块，利用视觉和文本信息共同提升模型的物体性理解能力。

关键创新：MENOL的核心创新在于引入多模态信息，特别是图像-文本模态的结合，使得模型在处理未知类时具有更强的适应性和泛化能力。

关键设计：在模型设计中，采用了特定的损失函数以平衡已知类与未知类的学习，同时优化了网络结构以提高训练效率和检测精度。具体参数设置和网络结构细节将在论文中详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MENOL在CODA-val数据集上取得了76.6%的mAR-corner和79.8%的mAR-agnostic，分别比基线ORE提升了71.3%和60.6%。该方法仅使用5100张标注图像，显著降低了训练成本，同时提升了对新类的召回率。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能交通系统和机器人导航等。通过提升角落案例的检测能力，能够显著提高自动驾驶系统的安全性和可靠性，推动智能交通技术的发展。未来，该方法还可以扩展到其他需要处理开放世界场景的计算机视觉任务中。

📄 摘要（原文）

Previous works on object detection have achieved high accuracy in closed-set scenarios, but their performance in open-world scenarios is not satisfactory. One of the challenging open-world problems is corner case detection in autonomous driving. Existing detectors struggle with these cases, relying heavily on visual appearance and exhibiting poor generalization ability. In this paper, we propose a solution by reducing the discrepancy between known and unknown classes and introduce a multimodal-enhanced objectness notion learner. Leveraging both vision-centric and image-text modalities, our semi-supervised learning framework imparts objectness knowledge to the student model, enabling class-aware detection. Our approach, Multimodal-Enhanced Objectness Learner (MENOL) for Corner Case Detection, significantly improves recall for novel classes with lower training costs. By achieving a 76.6% mAR-corner and 79.8% mAR-agnostic on the CODA-val dataset with just 5100 labeled training images, MENOL outperforms the baseline ORE by 71.3% and 60.6%, respectively. The code will be available at https://github.com/tryhiseyyysum/MENOL.