Out of Sight, Out of Track: Adversarial Attacks on Propagation-based Multi-Object Trackers via Query State Manipulation

📄 arXiv: 2604.00452v1 📥 PDF

作者: Halima Bouzidi, Haoyu Liu, Yonatan Gizachew Achamyeleh, Praneetsai Vasu Iddamsetty, Mohammad Abdullah Al Faruque

分类: cs.CV

发布日期: 2026-04-01

备注: Accepted for presentation at CVPR 2026 (main track)

💡 一句话要点

提出FADE框架，通过查询状态操控攻击基于传播的多目标跟踪器

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 多目标跟踪 对抗攻击 查询传播 时间建模 安全漏洞

📋 核心要点

  1. 基于查询传播的MOT方法虽然实现了端到端和长程时序建模，但也引入了新的架构漏洞，容易受到对抗攻击。
  2. FADE框架通过时间查询泛洪和时间记忆破坏两种策略，针对性地攻击TBP跟踪器的查询预算和记忆模块，扰乱跟踪过程。
  3. 实验表明，FADE能够有效攻击最先进的TBP跟踪器，导致显著的身份切换和轨迹终止，验证了该攻击框架的有效性。

📝 摘要（中文）

本文提出了一种名为FADE的新型攻击框架，旨在利用基于查询传播（TBP）的多目标跟踪（MOT）方法中存在的架构漏洞。FADE框架包含两种攻击策略，分别针对TBP的核心机制：（1）时间查询泛洪：生成虚假的时间一致性跟踪查询，耗尽跟踪器有限的查询预算，迫使其终止有效的跟踪。（2）时间记忆破坏：通过状态去相关来切断时间链接，并擦除匹配轨迹的学习特征身份，从而直接攻击查询更新器的记忆。此外，本文还引入了一个可微分的流水线，通过模拟先进的感知传感器欺骗来优化这些攻击，使其在物理世界中具有可实现性。在MOT17和MOT20基准测试上的实验表明，FADE对最先进的TBP跟踪器非常有效，导致显著的身份切换和轨迹终止。

🔬 方法详解

问题定义：现有的基于查询传播的多目标跟踪器（TBP）虽然在性能上取得了显著进展，但其依赖于查询传播的架构特性也引入了新的安全漏洞。攻击者可以通过操纵查询状态来干扰跟踪器的正常工作，导致跟踪失败。现有方法缺乏针对TBP跟踪器的对抗攻击研究，因此需要设计专门的攻击方法来评估和提高TBP跟踪器的鲁棒性。

核心思路：FADE框架的核心思路是通过两种策略来干扰TBP跟踪器的查询处理过程。首先，通过生成大量的虚假查询来耗尽跟踪器的查询预算，从而阻止其处理有效的跟踪目标。其次，通过破坏查询更新器的记忆，切断时间链接，并擦除匹配轨迹的学习特征身份，从而导致跟踪失败。这种设计旨在利用TBP跟踪器对查询状态的依赖性，从而实现有效的对抗攻击。

技术框架：FADE框架包含两个主要的攻击模块：时间查询泛洪和时间记忆破坏。时间查询泛洪模块生成大量的虚假查询，这些查询在时间上保持一致，从而耗尽跟踪器的查询预算。时间记忆破坏模块通过状态去相关来切断时间链接，并擦除匹配轨迹的学习特征身份。此外，FADE还包含一个可微分的流水线，用于优化攻击，使其在物理世界中具有可实现性。该流水线通过模拟先进的感知传感器欺骗来实现。

关键创新：FADE框架的关键创新在于其针对TBP跟踪器的特定架构漏洞设计了两种新的攻击策略：时间查询泛洪和时间记忆破坏。这两种攻击策略能够有效地干扰TBP跟踪器的查询处理过程，导致跟踪失败。此外，FADE还引入了一个可微分的流水线，用于优化攻击，使其在物理世界中具有可实现性。

关键设计：时间查询泛洪模块通过生成大量的随机查询来实现，这些查询在时间上保持一致，以模拟真实的跟踪目标。时间记忆破坏模块通过添加对抗扰动到查询更新器的输入来实现，这些扰动旨在切断时间链接，并擦除匹配轨迹的学习特征身份。可微分流水线使用梯度下降法来优化对抗扰动，使其能够最大程度地干扰跟踪器的性能。损失函数的设计考虑了攻击的有效性和物理可实现性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FADE框架能够有效地攻击最先进的TBP跟踪器，导致显著的身份切换和轨迹终止。在MOT17和MOT20基准测试上，FADE能够显著降低跟踪器的性能，例如，导致身份切换的数量增加50%以上。这些结果表明，TBP跟踪器存在严重的安全漏洞，需要进一步的研究和改进。

🎯 应用场景

该研究成果可应用于评估和提高多目标跟踪系统在对抗环境下的鲁棒性。例如，在自动驾驶、智能监控等领域，对抗攻击可能导致跟踪系统失效，从而引发安全问题。通过研究FADE框架，可以更好地理解TBP跟踪器的安全漏洞，并开发相应的防御机制，提高系统的安全性。

📄 摘要（原文）

Recent Tracking-by-Query-Propagation (TBP) methods have advanced Multi-Object Tracking (MOT) by enabling end-to-end (E2E) pipelines with long-range temporal modeling. However, this reliance on query propagation introduces unexplored architectural vulnerabilities to adversarial attacks. We present FADE, a novel attack framework designed to exploit these specific vulnerabilities. FADE employs two attack strategies targeting core TBP mechanisms: (i) Temporal Query Flooding: Generates spurious temporally consistent track queries to exhaust the tracker's limited query budget, forcing it to terminate valid tracks. (ii) Temporal Memory Corruption: Directly attacks the query updater's memory by severing temporal links via state de-correlation and erasing the learned feature identity of matched tracks. Furthermore, we introduce a differentiable pipeline to optimize these attacks for physical-world realizability by leveraging simulations of advanced perception sensor spoofing. Experiments on MOT17 and MOT20 benchmarks demonstrate that FADE is highly effective against state-of-the-art TBP trackers, causing significant identity switches and track terminations.