Contrastive Learning for Multi-Object Tracking with Transformers

📄 arXiv: 2311.08043v1 📥 PDF

作者: Pierre-François De Plaen, Nicola Marinello, Marc Proesmans, Tinne Tuytelaars, Luc Van Gool

分类: cs.CV

发布日期: 2023-11-14

备注: WACV 2024

DOI: 10.1109/WACV57701.2024.00672

💡 一句话要点

提出基于对比学习的变换器多目标跟踪方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多目标跟踪 对比学习 变换器 目标检测 深度学习

📋 核心要点

  1. 现有的多目标跟踪方法通常在DETR基础上增加复杂模块，导致架构复杂且计算开销大。
  2. 本文提出通过实例级对比损失和轻量级分配方法，将DETR直接转化为多目标跟踪模型，简化了架构。
  3. 在BDD100K数据集上，本文方法的mMOTA提升了2.6，相较于之前的最先进水平表现更佳。

📝 摘要（中文）

DEtection TRansformer (DETR) 为目标检测开辟了新思路，通过将其建模为翻译任务，将图像特征转换为对象级表示。以往的研究通常在DETR上添加复杂的模块以实现多目标跟踪（MOT），导致架构复杂化。本文展示了如何通过实例级对比损失、修订的采样策略和轻量级分配方法，将DETR转变为MOT模型。我们的训练方案在保持检测能力的同时学习对象外观，且开销较小。该方法在具有挑战性的BDD100K数据集上性能超越了之前的最先进水平，提升幅度为+2.6 mMOTA，并且在MOT17数据集上与现有的基于变换器的方法相当。

🔬 方法详解

问题定义：本文旨在解决现有多目标跟踪方法在DETR基础上增加复杂模块的问题，这导致了架构复杂和计算开销增加。

核心思路：通过引入实例级对比损失、修订的采样策略和轻量级分配方法，直接将DETR转化为多目标跟踪模型，从而简化了整体架构。

技术框架：整体架构包括三个主要模块：实例级对比损失用于学习对象外观，修订的采样策略用于有效选择样本，轻量级分配方法用于优化目标分配。

关键创新：最重要的创新点在于通过对比学习实现了目标外观的有效学习，同时保持了DETR的检测能力，显著降低了计算开销。

关键设计：在损失函数设计上，采用了实例级对比损失，确保了目标特征的区分性；在网络结构上，保持了DETR的基本框架，结合轻量级的分配策略以提高效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，本文方法在BDD100K数据集上实现了+2.6 mMOTA的提升，超越了之前的最先进水平。同时，在MOT17数据集上，性能与现有基于变换器的方法相当，显示出良好的适应性和有效性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、机器人导航等场景，能够有效提升多目标跟踪的准确性和效率。随着技术的进步，未来可能在实时视频分析和复杂场景理解中发挥重要作用。

📄 摘要（原文）

The DEtection TRansformer (DETR) opened new possibilities for object detection by modeling it as a translation task: converting image features into object-level representations. Previous works typically add expensive modules to DETR to perform Multi-Object Tracking (MOT), resulting in more complicated architectures. We instead show how DETR can be turned into a MOT model by employing an instance-level contrastive loss, a revised sampling strategy and a lightweight assignment method. Our training scheme learns object appearances while preserving detection capabilities and with little overhead. Its performance surpasses the previous state-of-the-art by +2.6 mMOTA on the challenging BDD100K dataset and is comparable to existing transformer-based methods on the MOT17 dataset.