Zero-Shot Multimodal Event Spotting in Soccer Broadcasts

📄 arXiv: 2610.37583v1 📥 PDF

作者: Sadia Kamal, Mahmudul Hasan, Tony Braskich

分类: cs.CV, cs.LG, cs.MM

发布日期: 2026-10-27

备注: Accepted to the Main Conference at the IEEE International Symposium on Multimedia: ISM 2026

💡 一句话要点

提出零-shot框架以解决足球赛事自动识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 足球事件识别 零-shot学习 多模态模型 视频分析 自动高亮生成

📋 核心要点

  1. 现有的足球事件识别方法依赖于大量标注数据和特定的训练，限制了其应用范围和灵活性。
  2. 论文提出了一种零-shot框架，通过结合视觉故事板和解说文本，实现对足球赛事的自动检测和分类。
  3. 在三场手动标注的比赛中，最佳配置达到了72.0%的F1@5s，显著优于现有基线方法，并降低了推理成本。

📝 摘要（中文）

自动足球事件识别支持精彩集锦生成、视频索引和体育分析，但现有方法依赖于大量标注数据和特定训练。本文提出一种零-shot框架，能够在完整的足球直播中检测、分类和时间定位事件，无需任务特定的参数训练。每场比赛被分割为重叠片段，通过紧凑的视觉故事板和对齐的解说文本共同处理。实验表明，在包含130个事件的三场手动标注比赛中，最佳配置实现了72.0%的F1@5s，超越了基于SoccerNet训练的CALF和NetVLAD++，同时故事板表示将推理成本降低了72%。

🔬 方法详解

问题定义：本文旨在解决现有足球事件识别方法对大量标注数据和特定训练的依赖，导致的灵活性不足和应用范围受限的问题。

核心思路：提出的零-shot框架通过将比赛分割为重叠片段，并结合视觉故事板和解说文本，利用通用多模态模型进行联合处理，从而实现事件的检测、分类和时间定位。

技术框架：整体架构包括三个主要模块：首先是比赛片段的重叠分割，其次是视觉故事板和解说文本的对齐，最后是多模态模型的联合处理。

关键创新：最重要的创新在于引入了零-shot学习框架，使得模型无需特定任务的参数训练即可进行事件识别，这与传统方法有本质区别。

关键设计：在模型设计中，采用了紧凑的视觉故事板表示，显著减少了推理成本，同时引入了基于证据的兴奋评分阶段，为高亮选择提供自然语言解释。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，最佳配置在三场手动标注的比赛中达到了72.0%的F1@5s，超越了基于SoccerNet训练的CALF和NetVLAD++，同时故事板表示将推理成本降低了72%，展现了显著的性能提升。

🎯 应用场景

该研究具有广泛的应用潜力，能够用于体育赛事的自动分析、精彩集锦生成和视频索引等领域。通过减少对标注数据的依赖，未来可以推广到其他运动项目和视频内容分析中，提升观众体验和内容管理效率。

📄 摘要（原文）

Automatic soccer event spotting supports highlight generation, video indexing, and sports analytics, but existing methods depend on large annotated datasets and soccer-specific training. We present a zero-shot framework that detects, classifies, and temporally localizes events in full-length soccer broadcasts without task-specific parameter training. Each match is segmented into overlapping clips represented by a compact visual storyboard and the aligned commentary transcript, which a general-purpose multimodal model processes jointly. On three manually annotated matches containing 130 events, the best configuration achieves 72.0% F1@5s and outperforms SoccerNet-trained CALF and NetVLAD++ in a cross-dataset setting, while the storyboard representation reduces inference cost by 72% compared with individual frames. We further analyze the effects of model family, input representation, and prompt optimization, and introduce an evidence-grounded excitement-scoring stage that ranks detected events with natural-language explanations for highlight selection.