Polycepta: Object-Centric Appearance Estimation for Multi-Object Tracking

📄 arXiv: 2606.23604v1 📥 PDF

作者: Mohamed Nagy, Naoufel Werghi, Jorge Dias, Majid Khonji

分类: cs.CV, cs.AI

发布日期: 2026-06-22

💡 一句话要点

提出Polycepta以解决多目标跟踪中的外观估计问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 多目标跟踪 外观估计 递归估计 动态更新 实时处理

📋 核心要点

  1. 现有的多目标跟踪方法依赖静态外观描述符，导致在动态环境中鲁棒性不足。
  2. Polycepta通过将外观建模视为递归估计问题，构建独立的外观状态，增强了对未见类别的适应能力。
  3. 在KITTI基准测试中，Polycepta集成于RobMOT框架下，达到了92.27%的MOTA，性能显著提升。

📝 摘要（中文）

多目标跟踪（MOT）中的跟踪-检测范式通常依赖于静态外观描述符来补充运动估计。然而，这些描述符是帧无关的，限制了其作为视觉线索的鲁棒性。本文提出了Polycepta，一个以对象为中心的外观状态估计框架，将外观建模重新定义为递归估计问题，而非逐帧匹配任务。Polycepta为每个跟踪对象构建并持续更新独立的外观状态，使未来的外观表示能够基于累积观察进行估计。通过提出的学习策略，Polycepta鼓励学习对象特定表示的外观状态构建，而非简单记忆，从而实现对未见类别的外观估计。实验结果表明，Polycepta在KITTI、Waymo开放数据集和MOT17上显著减少了身份切换，并提高了跟踪性能。

🔬 方法详解

问题定义：本文旨在解决多目标跟踪中外观估计的不足，现有方法通常依赖静态外观描述符，导致在动态场景中表现不佳。

核心思路：Polycepta通过将外观建模转变为递归估计问题，允许每个对象独立更新其外观状态，从而提高了对未见类别的外观估计能力。

技术框架：Polycepta的整体架构包括外观状态的构建与更新模块，利用累积观察来不断优化外观估计，确保在跟踪过程中外观信息的动态更新。

关键创新：Polycepta的主要创新在于其动态外观状态更新机制，与传统静态外观描述符相比，能够在对象状态演变时逐步提高外观估计的质量。

关键设计：在设计中，Polycepta采用了特定的损失函数来优化外观状态的学习过程，并通过独立的网络结构来处理每个对象的外观信息，确保高效的实时性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在KITTI基准测试中，Polycepta集成于RobMOT框架下，达到了92.27%的MOTA，且跟踪性能显著提升，身份切换数量减少，展现出优越的实时处理能力，达到90.57 Hz的运行频率。

🎯 应用场景

Polycepta的研究成果可广泛应用于自动驾驶、监控系统和人机交互等领域，提升多目标跟踪的准确性和鲁棒性。随着技术的进步，Polycepta有潜力在复杂环境中实现更高效的目标跟踪，推动相关应用的发展。

📄 摘要（原文）

The tracking-by-detection paradigm in multi-object tracking (MOT) typically relies on static appearance descriptors to complement motion estimation. However, these descriptors are frame-independent, limiting their robustness as visual cues. Since such descriptors are often obtained from computationally intensive pretrained backbones, real-time MOT systems frequently abandon appearance cues altogether and rely solely on motion prediction and geometric association. In this work, we introduce Polycepta, an object-centric appearance state estimation framework that reformulates appearance modeling as a recursive estimation problem rather than a frame-wise matching task. Polycepta constructs and continuously updates an independent appearance state for each tracked object, enabling future appearance representations to be estimated from accumulated observations. Polycepta is encouraged to learn the appearance-state construction of object-specific representations rather than memorize them through a proposed learning strategy, enabling appearance estimation for unseen classes. A key property of Polycepta is that the quality of appearance estimation improves as object states evolve during inference. While conventional appearance descriptors remain static or degrade over time, Polycepta progressively refines appearance estimates as additional observations are accumulated. Extensive experiments on KITTI, the Waymo Open Dataset, and MOT17 demonstrate consistent reductions in identity switches and improvements in tracking performance when integrated into the tracking-by-detection pipelines. Polycepta operates at 90.57 Hz and delivers state-of-the-art performance on the KITTI benchmark when integrated into the RobMOT framework, achieving a MOTA of 92.27\%.