DiffMOT: A Real-time Diffusion-based Multiple Object Tracker with Non-linear Prediction

📄 arXiv: 2403.02075v2 📥 PDF

作者: Weiyi Lv, Yuhang Huang, Ning Zhang, Ruei-Sung Lin, Mei Han, Dan Zeng

分类: cs.CV

发布日期: 2024-03-04 (更新: 2024-03-20)

备注: CVPR2024

💡 一句话要点

提出DiffMOT以解决复杂非线性运动预测问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 多目标跟踪 非线性运动预测 扩散模型 实时跟踪 运动预测器

📋 核心要点

  1. 现有的基于检测的跟踪方法在复杂场景中无法有效处理多个物体的非线性运动，导致跟踪精度下降。
  2. 本文提出的DiffMOT通过解耦扩散运动预测器（D²MP）来建模物体运动的整体分布，并利用历史运动信息进行个体预测。
  3. 实验结果表明，DiffMOT在DanceTrack和SportsMOT数据集上分别取得62.3%和76.2%的HOTA指标，显著优于现有最先进方法。

📝 摘要（中文）

在多目标跟踪中，物体常常表现出加速和减速的非线性运动以及不规则的方向变化。基于检测的跟踪方法在行人主导场景中表现良好，但在多个物体同时执行非线性和多样化运动的复杂情况下则显得不足。为了解决这一复杂的非线性运动问题，本文提出了一种名为DiffMOT的实时扩散基础多目标跟踪方法。该方法引入了一种新颖的解耦扩散运动预测器（D²MP），能够整体建模数据中各种运动的分布，并基于个体的历史运动信息预测单个物体的运动。此外，该方法在优化扩散过程中使用了更少的采样步骤。DiffMOT在DanceTrack和SportsMOT数据集上分别达到了62.3%和76.2%的HOTA指标，且实时性能为22.7FPS。

🔬 方法详解

问题定义：本文旨在解决多目标跟踪中物体非线性运动预测的挑战。现有方法在复杂场景下表现不佳，尤其是在多个物体同时进行非线性运动时，跟踪精度显著下降。

核心思路：DiffMOT通过引入解耦扩散运动预测器（D²MP），整体建模运动分布，并基于个体历史信息进行运动预测。这种设计能够更好地捕捉复杂运动模式，提高跟踪精度。

技术框架：DiffMOT的整体架构包括数据输入模块、解耦扩散运动预测器（D²MP）、运动状态更新模块和跟踪输出模块。每个模块协同工作，实现实时跟踪。

关键创新：DiffMOT是首个将扩散概率模型引入多目标跟踪的研究，能够有效处理非线性运动预测问题，与传统的卡尔曼滤波器方法相比，具有更强的适应性和精度。

关键设计：在D²MP中，采用了优化的扩散过程，使用更少的采样步骤来提高效率。此外，模型设计中考虑了个体历史运动信息的影响，以增强预测的准确性。具体的损失函数和网络结构设计也经过精心调整，以适应多目标跟踪的需求。

📊 实验亮点

DiffMOT在DanceTrack和SportsMOT数据集上分别取得62.3%和76.2%的HOTA指标，显著优于现有最先进的跟踪方法。同时，其实时性能达到22.7FPS，展示了良好的应用前景。

🎯 应用场景

DiffMOT的研究成果在智能监控、自动驾驶、体育分析等领域具有广泛的应用潜力。通过提高多目标跟踪的精度和实时性，该方法能够为复杂场景下的物体跟踪提供有效解决方案，推动相关技术的发展与应用。

📄 摘要（原文）

In Multiple Object Tracking, objects often exhibit non-linear motion of acceleration and deceleration, with irregular direction changes. Tacking-by-detection (TBD) trackers with Kalman Filter motion prediction work well in pedestrian-dominant scenarios but fall short in complex situations when multiple objects perform non-linear and diverse motion simultaneously. To tackle the complex non-linear motion, we propose a real-time diffusion-based MOT approach named DiffMOT. Specifically, for the motion predictor component, we propose a novel Decoupled Diffusion-based Motion Predictor (D$^2$MP). It models the entire distribution of various motion presented by the data as a whole. It also predicts an individual object's motion conditioning on an individual's historical motion information. Furthermore, it optimizes the diffusion process with much fewer sampling steps. As a MOT tracker, the DiffMOT is real-time at 22.7FPS, and also outperforms the state-of-the-art on DanceTrack and SportsMOT datasets with $62.3\%$ and $76.2\%$ in HOTA metrics, respectively. To the best of our knowledge, DiffMOT is the first to introduce a diffusion probabilistic model into the MOT to tackle non-linear motion prediction.