SPAMming Labels: Efficient Annotations for the Trackers of Tomorrow

📄 arXiv: 2404.11426v3 📥 PDF

作者: Orcun Cetintas, Tim Meinhardt, Guillem Brasó, Laura Leal-Taixé

分类: cs.CV

发布日期: 2024-04-17 (更新: 2024-10-01)

备注: ECCV 2024

DOI: 10.1007/978-3-031-73254-6_22

💡 一句话要点

提出SPAM以解决视频轨迹标注效率低下问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 视频轨迹标注 伪标签生成 图形处理 高效标注 数据集构建

📋 核心要点

  1. 现有的跟踪数据集标注方法效率低下，难以满足大规模数据集的需求。
  2. SPAM通过预训练模型生成伪标签，并利用图形处理时空依赖关系，减少人工干预。
  3. 实验表明，使用SPAM标签训练的跟踪器性能与人工标注相当，但仅需3-20%的人工标注工作量。

📝 摘要（中文）

提高视频轨迹标注的效率有助于推动下一代数据密集型跟踪算法在大规模数据集上的应用。尽管这一任务的重要性不言而喻，目前针对如何高效标注跟踪数据集的研究仍然较少。本文提出了SPAM，一个视频标签引擎，旨在以最小的人为干预生成高质量标签。SPAM基于两个关键见解：首先，大多数跟踪场景可以轻松解决，因此利用预训练模型生成高质量伪标签，将人类参与限制在更困难的实例上；其次，通过图形优雅且高效地处理轨迹标注的时空依赖关系。SPAM在仅需3-20%的人工标注努力的情况下，生成的高质量标注与人工标注训练的跟踪器性能相当，从而为大规模跟踪数据集的高效标注铺平了道路。所有模型和代码已公开发布。

🔬 方法详解

问题定义：本文旨在解决视频轨迹标注效率低下的问题。现有方法在标注大规模跟踪数据集时，往往需要大量的人力成本，且难以保证标注质量。

核心思路：SPAM的核心思路是利用预训练模型生成高质量的伪标签，并将人类标注的工作集中在更复杂的实例上，从而提高标注效率。通过图形化的方式处理时空依赖关系，使得标注过程更加高效。

技术框架：SPAM的整体架构包括两个主要模块：伪标签生成模块和图形处理模块。伪标签生成模块利用预训练模型快速生成标签，而图形处理模块则负责处理轨迹的时空依赖关系，确保标注的一致性和准确性。

关键创新：SPAM的最大创新在于将图形结构引入到轨迹标注中，通过统一的图形表示来处理检测和身份关联问题。这种方法与传统的逐帧标注方式有本质区别，显著提高了标注效率。

关键设计：在设计中，SPAM使用了特定的损失函数来优化伪标签的生成，同时在图形处理模块中采用了高效的图算法，以确保在处理时空依赖时的计算效率和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用SPAM生成的标签训练的跟踪器在性能上与使用人工标注的跟踪器相当，且仅需3-20%的人工标注工作量。这一显著的效率提升为大规模跟踪数据集的标注提供了新的解决方案。

🎯 应用场景

SPAM的研究成果在视频监控、自动驾驶、运动分析等领域具有广泛的应用潜力。通过提高轨迹标注的效率，SPAM能够支持更大规模的数据集，从而推动相关领域的算法发展和应用落地，提升智能系统的性能和可靠性。

📄 摘要（原文）

Increasing the annotation efficiency of trajectory annotations from videos has the potential to enable the next generation of data-hungry tracking algorithms to thrive on large-scale datasets. Despite the importance of this task, there are currently very few works exploring how to efficiently label tracking datasets comprehensively. In this work, we introduce SPAM, a video label engine that provides high-quality labels with minimal human intervention. SPAM is built around two key insights: i) most tracking scenarios can be easily resolved. To take advantage of this, we utilize a pre-trained model to generate high-quality pseudo-labels, reserving human involvement for a smaller subset of more difficult instances; ii) handling the spatiotemporal dependencies of track annotations across time can be elegantly and efficiently formulated through graphs. Therefore, we use a unified graph formulation to address the annotation of both detections and identity association for tracks across time. Based on these insights, SPAM produces high-quality annotations with a fraction of ground truth labeling cost. We demonstrate that trackers trained on SPAM labels achieve comparable performance to those trained on human annotations while requiring only $3-20\%$ of the human labeling effort. Hence, SPAM paves the way towards highly efficient labeling of large-scale tracking datasets. We release all models and code.