Rigel: Self-Distilled Score Adaptation for Image and Video Captioning Evaluation

📄 arXiv: 2606.29997v1 📥 PDF

作者: Shuitsu Koyama, Kazuki Matsuda, Yuiga Wada, Shinnosuke Hirano, Daichi Yashima, Komei Sugiura

分类: cs.CV

发布日期: 2026-06-29

💡 一句话要点

提出Rigel以解决图像和视频字幕评估中的人类判断对齐问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像字幕评估 视频字幕评估 自蒸馏 多模态评估 大型语言模型 人类判断对齐 自动评估指标

📋 核心要点

  1. 现有的自动评估方法在与人类判断对齐方面存在不足，尤其是在大词汇语言建模与小标签集评估之间的匹配问题。
  2. 本文提出Rigel，通过自蒸馏评分适应，设计了一个特定于评估的评分头，旨在提高评估的准确性和一致性。
  3. 实验结果显示，Rigel在多个基准测试中表现优异，尤其在ActivityNet-Fact上实现了超过10分的提升，超越了现有的评估指标。

📝 摘要（中文）

自动评估图像和视频字幕对于多模态系统的基准测试至关重要，然而，标准评估指标与人类判断的对齐程度有限。近期使用大型语言模型（LLMs）的评估方法有所改善，但仍存在大词汇语言建模与小标签集评估之间的不匹配。为了解决这一问题，本文提出了Rigel，一种基于自蒸馏评分适应的自动评估指标。该指标采用从冻结的LLM中蒸馏出的特定评估评分头，能够在任务对齐的空间中捕捉判断信号，而无需依赖大词汇的标记集。我们还利用人类判断数据对LLM主干进行了优化。为训练Rigel，我们构建了Vid-Lepus数据集，包含3,338个视频片段、33,380个参考字幕和5,637个候选字幕。实验结果表明，Rigel在多个基准测试中超越了现有的最先进指标，在无参考设置下在ActivityNet-Fact上提升超过10分。

🔬 方法详解

问题定义：本文旨在解决图像和视频字幕自动评估中与人类判断对齐不足的问题。现有方法在大词汇语言建模与小标签集评估之间存在显著不匹配，导致评估结果不够准确。

核心思路：Rigel的核心思路是通过自蒸馏技术，设计一个专门用于评估的评分头，从而在任务对齐的空间中捕捉更准确的判断信号，避免了对大词汇标记集的依赖。

技术框架：Rigel的整体架构包括一个冻结的LLM主干和一个蒸馏出的评估评分头。首先，利用人类判断数据对LLM进行优化，然后通过Vid-Lepus数据集进行训练，确保模型能够有效捕捉评估信号。

关键创新：Rigel的主要创新在于引入了自蒸馏评分适应机制，使得评估过程不再依赖于大词汇集，显著提高了评估的准确性和一致性。这一方法与传统的评估方法形成了鲜明对比。

关键设计：在设计中，Rigel使用了特定的损失函数来优化评分头，并在网络结构上进行了调整，以确保其能够有效地从人类判断中学习。数据集的构建也经过精心设计，以包含丰富的多样性和代表性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Rigel在多个基准测试中表现出色，特别是在ActivityNet-Fact的无参考设置下，提升超过10分，显著超越了现有的最先进评估指标。这一结果表明Rigel在自动评估中的有效性和优越性。

🎯 应用场景

Rigel的研究成果在多模态系统的自动评估领域具有广泛的应用潜力，尤其是在图像和视频内容生成、社交媒体内容分析以及智能监控等场景中。通过提高评估的准确性，Rigel能够为相关领域的研究和应用提供更可靠的基准，推动技术的进一步发展。

📄 摘要（原文）

Automatic evaluation of image and video captioning is essential for benchmarking multimodal systems, although standard evaluation metrics show limited alignment with human judgments. Recent approaches using large language models (LLMs), commonly referred to as LLM-as-a-Judge, have improved alignment with human judgments but still suffer from a mismatch between large-vocabulary language modeling and evaluation over a small label set. To address this, we propose Rigel, an automatic evaluation metric for image and video captioning, based on self-distilled score adaptation. The metric employs an evaluation-specific scoring head distilled from a frozen LLM, which captures judgment signals in a task-aligned space without relying on large-vocabulary token sets. We then refine the LLM backbone with human judgment data. To train Rigel, we constructed the Vid-Lepus dataset, which contains 3,338 video clips, 33,380 reference captions, and 5,637 candidate captions. Experiments on multiple benchmarks show that Rigel outperforms state-of-the-art metrics, achieving over 10-point improvements on ActivityNet-Fact in the reference-free setting.