SPECS: Specificity-Enhanced CLIP-Score for Long Image Caption Evaluation

📄 arXiv: 2509.03897v2 📥 PDF

作者: Xiaofu Chen, Israfel Salazar, Yova Kementchedjhieva

分类: cs.CV, cs.CL

发布日期: 2025-09-04 (更新: 2025-09-12)

🔗 代码/项目: GITHUB

💡 一句话要点

SPECS：用于长图像描述评估的特异性增强CLIP-Score

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像描述评估 CLIP模型 表征相似性 特异性增强 长文本生成 多模态学习 无参考评估

📋 核心要点

  1. 现有图像描述评估指标，如N-gram和传统RS指标，在评估长文本描述时存在语义捕捉不足和与人类判断相关性低的问题。
  2. SPECS通过引入特异性增强目标函数改进CLIP模型，奖励正确细节并惩罚错误细节，从而提升评估的准确性。
  3. 实验表明，SPECS在与人类判断的相关性上可与基于LLM的指标媲美，同时计算效率显著提高，更适合迭代开发。

📝 摘要（中文）

随着生成长而详细的图像描述的需求增长，标准的评估指标变得越来越不可靠。基于N-gram的指标虽然高效，但无法捕捉语义正确性。表征相似性(RS)指标旨在解决这个问题，但由于计算成本高昂，最初的使用受到限制。尽管硬件取得了进步，但由于与人类判断的相关性较低，RS指标仍然不受欢迎。同时，基于大型语言模型(LLM)的指标与人类判断表现出很强的相关性，但对于模型开发过程中的迭代使用来说，成本仍然过高。我们引入了SPECS（特异性增强CLIPScore），这是一种为长图像描述量身定制的无参考RS指标。SPECS通过一个新的目标修改了CLIP，该目标强调特异性：奖励正确的细节，惩罚不正确的细节。我们表明，SPECS在与人类判断的相关性方面与基于开源LLM的指标的性能相匹配，同时效率更高。这使其成为图像描述模型开发过程中迭代检查点评估的实用替代方案。

🔬 方法详解

问题定义：现有长图像描述评估方法存在不足。N-gram指标无法捕捉语义信息，而传统的表征相似性(RS)指标计算成本高，且与人类判断的相关性较低。基于大型语言模型(LLM)的指标虽然相关性高，但计算成本过高，不适合模型迭代开发。

核心思路：SPECS的核心思路是通过增强CLIP模型的特异性，使其能够更准确地评估长图像描述的质量。具体来说，SPECS修改了CLIP的目标函数，使其能够奖励描述中正确的细节，并惩罚错误的细节，从而提高评估的准确性。

技术框架：SPECS基于CLIP模型，并对其目标函数进行了修改。整体流程包括：1) 使用CLIP模型提取图像和描述的特征；2) 使用修改后的目标函数计算图像和描述之间的相似度得分；3) 使用该得分作为图像描述的评估指标。该框架是参考无监督的，不需要额外的参考描述。

关键创新：SPECS的关键创新在于提出了特异性增强的CLIP目标函数。该目标函数通过奖励正确细节和惩罚错误细节，提高了CLIP模型在长图像描述评估中的准确性。与现有方法相比，SPECS在保持较高评估准确性的同时，显著降低了计算成本。

关键设计：SPECS的关键设计在于特异性增强的损失函数。具体的损失函数细节在论文中没有明确给出，但其核心思想是奖励与图像内容相关的特定细节，并惩罚与图像内容不符的细节。这种设计使得SPECS能够更准确地评估长图像描述的质量。

📊 实验亮点

SPECS在与人类判断的相关性方面达到了与开源LLM指标相当的水平，同时计算效率远高于LLM指标。这使得SPECS成为长图像描述模型开发过程中迭代评估的实用替代方案。具体性能数据和对比基线需要在论文中查找。

🎯 应用场景

SPECS可应用于图像描述生成模型的评估和迭代优化，尤其适用于需要生成长而详细描述的场景。该方法能够帮助研究人员和开发者更高效地评估模型的性能，并快速迭代改进模型，从而提升图像描述生成的质量和实用性。此外，SPECS也可用于评估其他多模态生成任务，例如视频描述和视觉故事讲述。

📄 摘要（原文）

As interest grows in generating long, detailed image captions, standard evaluation metrics become increasingly unreliable. N-gram-based metrics though efficient, fail to capture semantic correctness. Representational Similarity (RS) metrics, designed to address this, initially saw limited use due to high computational costs, while today, despite advances in hardware, they remain unpopular due to low correlation to human judgments. Meanwhile, metrics based on large language models (LLMs) show strong correlation with human judgments, but remain too expensive for iterative use during model development. We introduce SPECS (Specificity-Enhanced CLIPScore), a reference-free RS metric tailored to long image captioning. SPECS modifies CLIP with a new objective that emphasizes specificity: rewarding correct details and penalizing incorrect ones. We show that SPECS matches the performance of open-source LLM-based metrics in correlation to human judgments, while being far more efficient. This makes it a practical alternative for iterative checkpoint evaluation during image captioning model development.Our code can be found at https://github.com/mbzuai-nlp/SPECS.