Table tennis ball spin estimation with an event camera

📄 arXiv: 2404.09870v1 📥 PDF

作者: Thomas Gossard, Julian Krismer, Andreas Ziegler, Jonas Tebbe, Andreas Zell

分类: cs.CV

发布日期: 2024-04-15

备注: Accepted to CVsport (CVPRW 2024)

💡 一句话要点

提出基于事件相机的乒乓球旋转估计方法以解决传统相机不足问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 乒乓球旋转估计 事件相机 运动模糊 光流估计 实时处理

📋 核心要点

  1. 现有方法在高速度和旋转的乒乓球运动中，传统相机因运动模糊导致旋转估计不准确。
  2. 本文提出利用事件相机的高时间分辨率，通过序时表面跟踪和事件提取来估计乒乓球的旋转。
  3. 实验结果显示，采用该方法在飞行球的旋转幅度和旋转轴估计上均有显著提升，均值误差分别为$10.7 ext{ rps}$和$32.9°$。

📝 摘要（中文）

旋转在球类运动中起着关键作用，估计旋转成为一项重要技能，因为它影响球的轨迹和弹跳行为。由于旋转无法直接观察，估计变得极具挑战性。在乒乓球运动中，高速和旋转的结合使得传统低帧率相机无法快速准确地观察球的标志，从而估计旋转。事件相机由于其高时间分辨率，能够有效减少运动模糊。此外，事件流的稀疏特性解决了许多帧相机面临的通信带宽限制。本文首次提出使用事件相机进行乒乓球旋转估计的方法。我们利用序时表面跟踪球，并提取球标志生成的事件，随后通过提取的事件估计光流以推断球的旋转。我们在飞行球的实时实验中实现了旋转幅度均值误差为$10.7 ext{ rps} ext{和} 32.9°$的旋转轴均值误差。

🔬 方法详解

问题定义：本文旨在解决乒乓球旋转估计中的运动模糊问题，传统低帧率相机无法准确捕捉高速旋转的球体特征，导致旋转估计的困难。

核心思路：通过使用事件相机，利用其高时间分辨率和对运动模糊的抵抗能力，结合序时表面技术来跟踪乒乓球，并提取球标志的事件信息，从而实现准确的旋转估计。

技术框架：整体方法包括三个主要模块：首先，使用序时表面跟踪乒乓球；其次，提取与球标志相关的事件；最后，基于提取的事件估计光流，从而推断球的旋转信息。

关键创新：本文的创新在于首次将事件相机应用于乒乓球旋转估计，克服了传统相机在高速运动下的局限性，提供了一种新的视角和方法。

关键设计：在技术细节上，采用了特定的参数设置以优化事件提取过程，并设计了适合于实时处理的光流估计算法，确保了旋转估计的准确性和实时性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，采用事件相机进行旋转估计的平均误差为$10.7 ext{ rps}$和$32.9°$，相比传统方法显著提高了估计的准确性，展示了事件相机在高速运动分析中的优势。

🎯 应用场景

该研究的潜在应用领域包括乒乓球训练、比赛分析以及其他球类运动的旋转估计。通过提高旋转估计的准确性，可以帮助运动员更好地理解和应对对手的发球和击球策略，进而提升竞技水平。未来，该技术也可能扩展到机器人视觉和自动化运动分析等领域。

📄 摘要（原文）

Spin plays a pivotal role in ball-based sports. Estimating spin becomes a key skill due to its impact on the ball's trajectory and bouncing behavior. Spin cannot be observed directly, making it inherently challenging to estimate. In table tennis, the combination of high velocity and spin renders traditional low frame rate cameras inadequate for quickly and accurately observing the ball's logo to estimate the spin due to the motion blur. Event cameras do not suffer as much from motion blur, thanks to their high temporal resolution. Moreover, the sparse nature of the event stream solves communication bandwidth limitations many frame cameras face. To the best of our knowledge, we present the first method for table tennis spin estimation using an event camera. We use ordinal time surfaces to track the ball and then isolate the events generated by the logo on the ball. Optical flow is then estimated from the extracted events to infer the ball's spin. We achieved a spin magnitude mean error of $10.7 \pm 17.3$ rps and a spin axis mean error of $32.9 \pm 38.2°$ in real time for a flying ball.