CLIP-CC-Bench: Evaluating Paragraph-Level Video Descriptions in Video-Language Models

📄 arXiv: 2608.04302v1 📥 PDF

作者: Mukhtiar Ali, Harsh Dubey, Sugam Mishra, Chulwoo Pack

分类: cs.CV, cs.IR, cs.MM

发布日期: 2026-08-05

备注: Accepted and presented at EvalMG 2026, the Second Workshop on Evaluation for Multimodal Generation, co-located with ACM SIGIR 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出CLIP-CC-Bench以评估段落级视频描述的准确性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 段落描述 多模态评估 语义匹配 大语言模型

📋 核心要点

  1. 现有视频语言模型评估主要集中在短视频片段，缺乏对长篇段落描述的准确性验证。
  2. 本文提出CLIP-CC-Bench评估套件，通过专家撰写的段落参考，提供了长篇视频描述的评估框架。
  3. 实验评估了17种视频语言模型，报告了其Borda聚合排名和平均得分，验证了评估协议的可靠性。

📝 摘要（中文）

视频语言模型的评估主要集中在短视频片段和单句指标上，尚不清楚现有系统能否生成准确的长篇段落描述。本文提出CLIP-CC-Bench，一个基于5小时电影内容的长篇视频描述评估套件，包含90秒的片段及专家撰写的段落式参考。该评估套件采用五种最先进的基于大语言模型的嵌入模型，以提高可靠性并减轻单一模型偏差，并应用粗粒度和细粒度语义匹配两种互补方法，比较模型生成的描述与CLIP-CC-Bench参考。我们评估了17种最先进的视频语言模型，并报告了它们的Borda聚合排名及平均得分，同时量化了协议的内部可靠性。我们在GitHub上发布了标准化评估脚本、模型输出和聚合工具，以支持可重复性。

🔬 方法详解

问题定义：本文旨在解决现有视频语言模型在长篇段落描述生成中的评估不足，现有方法多集中于短视频片段和单句描述，无法全面评估模型的生成能力。

核心思路：提出CLIP-CC-Bench评估套件，通过结合专家撰写的段落参考和多种语义匹配方法，全面评估模型生成的长篇描述的准确性和一致性。

技术框架：评估框架包括两个主要阶段：首先是粗粒度语义匹配，评估整体语义一致性；其次是细粒度语义匹配，深入比较生成描述与参考段落的细节。使用五种基于大语言模型的嵌入模型来增强评估的可靠性。

关键创新：CLIP-CC-Bench的创新在于其针对长篇描述的评估设计，填补了现有短片段和问答型基准的空白，提供了更全面的评估视角。

关键设计：评估过程中采用Borda聚合方法来综合各模型的得分，并通过内部一致性检验和引导法稳定排名，确保评估结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，17种视频语言模型在CLIP-CC-Bench上的表现差异显著，Borda聚合排名提供了清晰的模型性能对比，验证了评估协议的内部一致性和稳定性，为后续研究提供了可靠的基准。

🎯 应用场景

该研究为长篇视频描述的生成提供了实用的评估框架，适用于电影、教育和视频内容创作等领域。通过提升模型的评估标准，未来可能推动视频理解和生成技术的进一步发展，促进多模态学习的应用。

📄 摘要（原文）

Benchmarking video-language models has largely focused on short clips and single-sentence metrics, leaving open whether current systems can generate accurate long-form, paragraph-level descriptions. We introduce CLIP-CC-Bench, an evaluation suite for long-form video description built from 5 hours of movie content segmented into 90-second clips, each paired with an expert-written paragraph-style reference. The evaluation suite employs an ensemble of five state-of-the-art LLM-based embedding models to increase reliability and mitigate single-model bias, and applies two complementary methodologies: (i) coarse-grained semantic matching and (ii) fine-grained semantic matching to compare model-generated descriptions against CLIP-CC-Bench references. Using this framework, we evaluate 17 state-of-the-art video-language models and report both their Borda-aggregated rankings and their average scores on CLIP-CC-Bench. We further quantify the protocol's internal reliability through inter-judge agreement and bootstrap ranking stability. We release standardized evaluation scripts, model outputs, and aggregation tools at https://github.com/Multimodal-Intelligence-Lab/CLIP-CC-Bench to support reproducibility. CLIP-CC-Bench provides a practical evaluation framework for long-form video description, filling a gap left by existing short-clip and QA-only benchmarks.