Perceiving and Predicting Dynamic Sports: Spatiotemporal Intelligence in Vision Models for Egocentric Tennis Video
作者: Tudor Braicu, Joseph DelPreto, Jared Boyer, Mónika Farsang, Maximilian Stölzle, Tim Niklas Seyde, Daniela Rus
分类: cs.CV, cs.RO
发布日期: 2026-10-27
备注: 8 pages, 5 figures. Project page: https://tennis-vision.csail.mit.edu/
💡 一句话要点
提出时空智能模型以解决动态体育视频理解问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱八：物理动画 (Physics-based Animation)
关键词: 时空智能 动态视频理解 自我中心视角 网球数据集 预测模型 机器人技术 多任务学习
📋 核心要点
- 现有的视觉模型在动态体育场景下的时空理解能力有限，尤其是在自我中心视角下的应用效果不佳。
- 本研究通过收集网球比赛的自我中心视频数据集，训练多种视觉模型以解决时空预测任务，提升机器人对动态场景的理解能力。
- 实验结果表明，最佳模型在定位和预测任务上表现优异，尤其是在接触时间和未来轨迹的预测上，显示出显著的性能提升。
📝 摘要（中文）
灵活的机器人需要时空智能来解读场景、推理交互并预测未来事件。然而，现有的基础视觉模型在移动的自我中心摄像机视角下的支持能力尚不明确。为此，研究者们收集了一个注释的网球数据集，并在时空任务上训练了一系列视觉模型。该数据集包含自我中心视频与五个外部视频的同步、估计的全球位置、标注的接触时间和击球类型。研究评估了七个预测任务，结果显示最佳模型在当前帧定位误差上分别为0.14米和0.54米，在未来预测误差上为0.34米和0.91米，接触时间预测误差为0.14秒。辅助深度信息显著改善了3D球定位，表明推断度量深度仍然是一个挑战。
🔬 方法详解
问题定义：本研究旨在解决动态体育视频理解中的时空智能问题，现有方法在自我中心视角下的表现不足，难以有效推理和预测未来事件。
核心思路：通过构建一个包含自我中心视频及其对应外部视角视频的数据集，训练视觉模型以执行多种时空预测任务，从而提升机器人在动态场景中的智能表现。
技术框架：研究设计了一个多模块的视觉模型框架，包括图像编码器、视频编码器和视觉-语言模型，结合联合训练的预测头，进行多任务学习。
关键创新：提出了一种条件扩散模型，能够实时生成完整的网球运动学动作，基于视觉编码器的预测动态调整动作，显著提升了模型的适应性和实时性。
关键设计：在模型训练中，采用了多种损失函数来优化定位和预测精度，使用辅助深度信息来改善3D球定位效果，且长时间图像历史未能显著提升球的预测精度，表明模型更依赖于场景上下文。
🖼️ 关键图片
📊 实验亮点
实验结果显示，最佳模型在当前帧定位误差上达到了0.14米（自我中心玩家）和0.54米（球），未来预测误差为0.34米（玩家）和0.91米（球），接触时间预测误差为0.14秒，表现出显著的性能提升，尤其是在结合辅助深度信息后。
🎯 应用场景
该研究的成果在机器人运动、自动化体育分析和虚拟现实等领域具有广泛的应用潜力。通过提升机器人对动态场景的理解能力，可以实现更智能的交互和自主决策，推动相关技术的发展与应用。未来，这种时空智能模型可能会在其他动态环境中得到应用，如自动驾驶和人机协作等。
📄 摘要（原文）
Agile robots require spatiotemporal intelligence to interpret scenes, reason about interactions, and anticipate future events. Yet it remains unclear how well foundation vision models support these capabilities, particularly from a moving egocentric camera, which is a natural view for robots. To investigate this, we collect an annotated tennis dataset and train a suite of vision models on spatiotemporal tasks. Our dataset contains egocentric video synchronized with five allocentric videos, estimated global positions, labeled contact times, and annotated stroke types. We then evaluate seven prediction tasks from egocentric images: 2D ego player and 3D ball localization, future player and ball trajectories, forehand or backhand stroke anticipation, time to the next ego player ball contact, and 3D ball position at that contact. We compare image encoders, video encoders, and vision-language models with jointly trained prediction heads. The best performing models achieve mean current-frame localization errors of 0.14 m for the ego player and 0.54 m for the ball, future forecasting errors of 0.34 m for the ego player and 0.91 m for the ball over 1.1 s, and a mean contact-time prediction error of 0.14 s. Auxiliary depth information substantially improves 3D ball localization, suggesting that inferring metric depth remains a challenge. Longer image histories do not improve ball forecasting, indicating that representations exploit scene context rather than rely solely on inter-frame motion. Finally, we propose a conditional diffusion model to generate whole-body kinematic tennis motion from vision encoder predictions on egocentric video at real-time rates, adapting movements as predictions are refined. These results move towards a deeper understanding of how foundation vision models can support real-time dynamic robots using egocentric video.