Object-centric Cross-modal Feature Distillation for Event-based Object Detection
作者: Lei Li, Alexander Liniger, Mario Millhaeusler, Vagia Tsiminaki, Yuanyou Li, Dengxin Dai
分类: cs.CV, cs.RO
发布日期: 2023-11-09
备注: 12 pages, 8 figures
💡 一句话要点
提出跨模态目标蒸馏方法以缩小事件摄像头与RGB检测器的性能差距
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 事件摄像头 目标检测 知识蒸馏 跨模态学习 插槽注意机制 深度学习 计算机视觉
📋 核心要点
- 现有的基于事件的目标检测器在性能上落后于RGB检测器，主要由于事件数据的稀疏性和缺乏细节。
- 本文提出了一种跨模态目标蒸馏方法，利用目标中心的插槽注意机制来优化知识蒸馏过程。
- 实验表明，所提方法显著提升了事件检测器的性能，性能差距几乎减半，验证了其有效性。
📝 摘要（中文）
事件摄像头因其低延迟和高动态范围而受到关注，尤其在实时目标检测中具有重要意义。然而，现有的RGB检测器在性能上仍优于基于事件的检测器，主要由于事件数据的稀疏性和视觉细节的缺失。本文提出了一种新颖的知识蒸馏方法，旨在缩小这两种模态之间的性能差距。我们设计了一种跨模态目标检测蒸馏方法，能够专注于知识蒸馏效果最佳的区域。通过使用目标中心的插槽注意机制，我们可以迭代地将特征图解耦为目标中心特征和用于蒸馏的相应像素特征。实验结果表明，该方法显著提升了基于事件的学生目标检测器的性能，几乎将与教师模型的性能差距减半。
🔬 方法详解
问题定义：本文旨在解决基于事件的目标检测器在性能上落后于RGB检测器的问题。现有方法面临事件数据稀疏和视觉细节缺失的挑战，导致检测效果不佳。
核心思路：论文提出了一种跨模态目标蒸馏方法，通过目标中心的插槽注意机制，专注于知识蒸馏效果最佳的区域，从而提升基于事件的检测器性能。
技术框架：整体架构包括两个主要模块：教师模型（RGB检测器）和学生模型（事件检测器）。通过插槽注意机制，特征图被解耦为目标中心特征和像素特征，进行有效的知识蒸馏。
关键创新：最重要的创新点在于引入了目标中心的插槽注意机制，使得蒸馏过程能够聚焦于最具信息量的区域，显著提升了事件检测器的性能。
关键设计：在设计中，采用了特定的损失函数来平衡教师和学生模型之间的知识传递，同时优化了网络结构以适应目标中心特征的提取。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提的跨模态目标蒸馏方法显著提升了事件检测器的性能，相较于基线模型，性能差距几乎减半，验证了该方法在实际应用中的有效性和潜力。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、智能监控和机器人视觉等场景，能够在低光照和高动态范围环境中实现高效的目标检测。未来，该方法有望推动事件摄像头在实时视觉任务中的广泛应用，提升相关技术的实用性和可靠性。
📄 摘要（原文）
Event cameras are gaining popularity due to their unique properties, such as their low latency and high dynamic range. One task where these benefits can be crucial is real-time object detection. However, RGB detectors still outperform event-based detectors due to the sparsity of the event data and missing visual details. In this paper, we develop a novel knowledge distillation approach to shrink the performance gap between these two modalities. To this end, we propose a cross-modality object detection distillation method that by design can focus on regions where the knowledge distillation works best. We achieve this by using an object-centric slot attention mechanism that can iteratively decouple features maps into object-centric features and corresponding pixel-features used for distillation. We evaluate our novel distillation approach on a synthetic and a real event dataset with aligned grayscale images as a teacher modality. We show that object-centric distillation allows to significantly improve the performance of the event-based student object detector, nearly halving the performance gap with respect to the teacher.