CalTennis: Large Multi-View Tennis Video Dataset and Benchmark of Monocular-to-3D Pose Estimation
作者: Ilona Demler, Xinran Xie, Blake Werner, Anna Szczuka, Pietro Perona
分类: cs.CV
发布日期: 2026-06-18
💡 一句话要点
提出CalTennis数据集以解决单目到3D姿态估计的评估问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 单目到3D姿态估计 多视角视频 数据集构建 运动分析 性能评估
📋 核心要点
- 现有的单目到3D姿态估计方法在深度和脚接触的估计上存在一致性不足的问题。
- 论文提出了CalTennis数据集，通过多视角视频记录和标准化协议，简化了数据收集过程。
- 基于CalTennis的实验结果显示，虽然3D关节角度恢复较为准确，但在深度估计上仍有待改进。
📝 摘要（中文）
Caltech Tennis Dataset（CalTennis）是一个大规模视频基准，用于评估野外环境下的单目到3D姿态估计。该数据集包含超过1100万帧（51小时）的网球练习和比赛视频，来自40名运动员，使用2-6台同步摄像机以60Hz的频率捕获。CalTennis是现有野外人类运动视频数据集中规模最大的，且首次提供专家运动的同步多视角记录。通过简单的标准化协议，数据收集无需专业设备或技术，且实现了全自动的视频校准和同步。基于CalTennis对现有单目到3D姿态方法进行基准测试，发现尽管3D关节角度恢复准确，但所有模型在深度和脚接触估计上仍存在困难。论文还提出了两个新性能指标，脚步和稳定性，探讨了身体形状不一致性的问题。
🔬 方法详解
问题定义：本论文旨在解决现有单目到3D姿态估计方法在深度和脚接触估计上的一致性不足问题。现有数据集规模小，难以全面评估算法性能。
核心思路：通过构建CalTennis数据集，提供大规模、多视角的网球运动视频，简化数据收集过程，促进单目到3D姿态估计算法的评估与改进。
技术框架：CalTennis数据集的构建包括数据采集、视频校准和同步等模块，采用2-6台同步摄像机以60Hz频率捕获视频，确保数据的高质量和一致性。
关键创新：CalTennis是首个提供专家运动的同步多视角记录的大规模基准数据集，填补了现有数据集在规模和多样性上的空白。
关键设计：论文设计了简单的标准化数据收集协议，确保无需专业设备或技术，同时实现了全自动的视频校准和同步，降低了数据收集的门槛。实验中提出的脚步和稳定性指标为姿态估计和动作分析提供了新的评估视角。
🖼️ 关键图片
📊 实验亮点
实验结果表明，尽管3D关节角度恢复的准确性较高，但在深度和脚接触估计上仍存在显著挑战。通过在CalTennis上基准测试，发现所有模型在这两个方面的表现均不理想，提示未来改进的方向。
🎯 应用场景
该研究的潜在应用领域包括运动分析、虚拟现实、增强现实以及机器人运动控制等。通过提供大规模的多视角数据，CalTennis可以帮助研究者和开发者改进姿态估计算法，推动相关技术在实际场景中的应用，提升运动员训练和比赛表现的分析能力。
📄 摘要（原文）
The Caltech Tennis Dataset (CalTennis) is a large-scale video benchmark for evaluating monocular-to-3D pose estimation in the wild. CalTennis comprises over 11 million frames (51 hours) of tennis practice and match play from 40 players, captured with 2-6 synchronized cameras at 60 Hz. It is 10 times larger than existing in-the-wild human motion video datasets and 3 times larger than existing MOCAP-ground-truthed datasets, and it is the first large-scale benchmark to provide synchronized multi-view recordings of expert athletic motion. The multi-view setup enables inexpensive, label-free evaluation of monocular-to-3D pose estimation algorithms. We describe a simple, standardized protocol that enables data collection without specialized equipment or expertise, along with fully automated video calibration and synchronization. Benchmarking state-of-the-art monocular-to-3D pose methods on CalTennis, we find that while 3D joint angle recovery is now quite accurate, all models struggle to estimate depth and foot contact consistently. We further propose two novel performance metrics, footwork and stability, as well as qualitatively study body shape inconsistency. These metrics expose previously underexplored failure modes and point to concrete opportunities for improvement in pose estimation and action analysis.