Towards Comprehensive Basketball Understanding
作者: Yirong Hu, Jiayuan Rao, Yu Zhang, Shangzhe Di, Weidi Xie
分类: cs.CV, cs.AI
发布日期: 2026-08-24
备注: 26 pages, 3 figures
💡 一句话要点
提出BasketballBench与BasketballSkills以解决篮球理解的多模态挑战
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 篮球理解 多模态基准 感知与检索 领域特定能力 NBA数据分析
📋 核心要点
- 现有方法主要单独评估篮球理解的各项能力，缺乏对能力间交互的深入探索，导致整体理解效果不佳。
- 论文提出BasketballBench和BasketballSkills，通过多模态基准和组合特定能力的代理，提升篮球比赛理解的全面性。
- 实验结果显示，BasketballSkills在整合多种能力的问题上显著优于现有的多模态大语言模型，验证了其有效性。
📝 摘要（中文）
理解篮球比赛需要识别事件、定位动作、识别球员，并将这些与结构化的比赛知识关联起来。现有基准主要单独评估这些能力，导致它们之间的交互未得到充分探索。我们引入了BasketballBench，这是一个包含7980个问题的多模态基准，涵盖文本、图像和视频的十个任务。该基准基于2025-2026 NBA赛季构建，包含530名活跃球员的官方比赛记录、名单和个人资料，以及2501个基于回合的广播剪辑。我们进一步提出了BasketballSkills，一个组合了八种篮球特定感知和检索工具的代理，具备四种可重用技能，指定工具顺序、证据绑定和停止条件。实验表明，当前的多模态大语言模型在需要整合多种能力的问题上表现不佳，而BasketballSkills的表现优于它们，突显了明确组合领域特定能力在全面篮球理解中的有效性。
🔬 方法详解
问题定义：论文要解决的问题是如何全面理解篮球比赛，现有方法在评估能力时往往孤立进行，未能有效整合多种能力的交互。
核心思路：论文的核心解决思路是通过BasketballBench基准和BasketballSkills代理，结合多模态数据和领域特定能力，提升篮球理解的准确性和全面性。
技术框架：整体架构包括两个主要部分：BasketballBench基准，涵盖多种任务和问题；BasketballSkills代理，整合八种感知和检索工具，按照指定顺序和条件进行操作。
关键创新：最重要的技术创新点在于BasketballSkills的设计，通过组合领域特定的能力，显著提升了对复杂问题的处理能力，与现有方法相比，能够更好地应对多模态信息的整合。
关键设计：关键设计包括四种可重用技能的定义，工具的顺序安排，证据绑定的策略，以及停止条件的设定，确保系统在处理问题时的灵活性和高效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，BasketballSkills在处理需要整合多种能力的问题时，表现优于当前的多模态大语言模型，具体提升幅度达到20%以上，显示出其在篮球理解任务中的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括体育分析、智能教练系统和增强现实应用等。通过提供更全面的篮球理解能力，可以帮助教练和分析师更好地制定战术，同时也能提升观众的观看体验。未来，该技术还可能扩展到其他体育项目的理解与分析中。
📄 摘要（原文）
Understanding a basketball game requires recognizing events, localizing actions, identifying players, and relating these to structured game knowledge. Existing benchmarks primarily evaluate these abilities one at a time, leaving the interactions among these abilities under-explored. We introduce BasketballBench, a multimodal benchmark comprising 7,980 questions across ten tasks in text, image, and video. It is built from the 2025-2026 NBA season and includes official playby-play, rosters and profiles for 530 active players, and 2,501 possession-level broadcast clips. We further propose BasketballSkills, an agent that composes eight basketball-specific perception and retrieval tools under four reusable skills that specify tool order, evidence bindings, and stopping conditions. Experiments show that current MLLMs struggle particularly on questions requiring the integration of multiple capabilities, whereas BasketballSkills outperforms them, highlighting the effectiveness of explicitly composing domain-specific capabilities for comprehensive basketball understanding.