Domain-Guided Masked Autoencoders for Unique Player Identification

📄 arXiv: 2403.11328v1 📥 PDF

作者: Bavesh Balaji, Jerrin Bright, Sirisha Rambhatla, Yuhao Chen, Alexander Wong, John Zelek, David A Clausi

分类: cs.CV, cs.AI

发布日期: 2024-03-17

备注: Submitted to 21st International Conference on Robots and Vision (CRV'24), Guelph, Ontario, Canada

💡 一句话要点

提出领域引导的掩码自编码器以解决独特球员识别问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 球员识别 掩码自编码器 运动模糊 时空网络 特征提取 关键帧识别 体育分析

📋 核心要点

  1. 现有方法在自动检测球衣号码时面临运动模糊、低分辨率和遮挡等挑战，导致识别准确性不足。
  2. 本文提出了一种领域引导的掩码自编码器（d-MAE），通过模仿人类视觉系统来优化特征提取过程。
  3. 在三个大型体育数据集上进行的实验显示，所提方法在测试集准确率上分别提升了8.58%、4.29%和1.20%。

📝 摘要（中文）

独特球员识别是视觉驱动的体育分析中的基本模块。通过广播视频识别球员可以帮助进行球员评估、比赛分析和广播制作。然而，利用深度特征自动检测球衣号码面临挑战，主要由于运动模糊、低分辨率视频和遮挡等因素。本文提出了一种新颖的领域引导掩码策略（d-MAE），以增强在运动模糊情况下的特征提取能力，并引入了一种新的时空网络用于独特球员识别。实验表明，该方法在多个大型体育数据集上显著提升了识别准确率，超越了当前的最先进技术。

🔬 方法详解

问题定义：本文旨在解决在运动模糊、低分辨率和遮挡条件下，自动识别球员球衣号码的困难。现有的掩码自编码器在特征提取时未能有效应对这些挑战。

核心思路：提出了一种领域引导的掩码策略（d-MAE），通过模拟人类视觉的掩码方式，增强了在复杂视觉条件下的特征提取能力，从而提高球员识别的准确性。

技术框架：整体架构包括数据预处理模块（KfID），用于识别关键帧，随后通过d-MAE进行特征提取，最后利用时空网络进行球员识别。关键帧融合技术用于增强关键帧的空间和时间上下文。

关键创新：最重要的创新在于领域引导的掩码策略（d-MAE），与传统方法相比，d-MAE更关注如何掩码而非随机掩码，从而提高了特征提取的鲁棒性。

关键设计：在KfID模块中，重点关注包含球衣号码的帧，采用关键帧融合技术以保留空间和时间信息，损失函数设计上也进行了优化，以提升模型的整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提时空网络在三个大型体育数据集上的测试集准确率分别提升了8.58%、4.29%和1.20%。通过严格的消融实验，领域引导掩码方法和改进的KfID模块分别提升了1.48%和1.84%的性能，验证了其有效性。

🎯 应用场景

该研究在体育分析领域具有广泛的应用潜力，能够为实时比赛分析、球员表现评估和广播制作提供支持。通过提高球员识别的准确性，能够帮助教练和分析师更好地理解比赛动态，进而优化战术决策。此外，该技术也可扩展至其他领域，如监控和人群分析等。

📄 摘要（原文）

Unique player identification is a fundamental module in vision-driven sports analytics. Identifying players from broadcast videos can aid with various downstream tasks such as player assessment, in-game analysis, and broadcast production. However, automatic detection of jersey numbers using deep features is challenging primarily due to: a) motion blur, b) low resolution video feed, and c) occlusions. With their recent success in various vision tasks, masked autoencoders (MAEs) have emerged as a superior alternative to conventional feature extractors. However, most MAEs simply zero-out image patches either randomly or focus on where to mask rather than how to mask. Motivated by human vision, we devise a novel domain-guided masking policy for MAEs termed d-MAE to facilitate robust feature extraction in the presence of motion blur for player identification. We further introduce a new spatio-temporal network leveraging our novel d-MAE for unique player identification. We conduct experiments on three large-scale sports datasets, including a curated baseball dataset, the SoccerNet dataset, and an in-house ice hockey dataset. We preprocess the datasets using an upgraded keyframe identification (KfID) module by focusing on frames containing jersey numbers. Additionally, we propose a keyframe-fusion technique to augment keyframes, preserving spatial and temporal context. Our spatio-temporal network showcases significant improvements, surpassing the current state-of-the-art by 8.58%, 4.29%, and 1.20% in the test set accuracies, respectively. Rigorous ablations highlight the effectiveness of our domain-guided masking approach and the refined KfID module, resulting in performance enhancements of 1.48% and 1.84% respectively, compared to original architectures.