Claim-Level Rubric Rewards for Video Caption Reinforcement Learning

📄 arXiv: 2607.05150v1 📥 PDF

作者: Mingqi Gao, Hongyuan Dong, Yifei Chen, Zhisheng Zhong, Zheng Ruan, Wenjin Hou, Yu Chen, Han Hu, Yansong Tang

分类: cs.CV

发布日期: 2026-07-06

💡 一句话要点

提出Claim-Level Rubric Rewards以解决视频字幕强化学习中的奖励设计瓶颈

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频字幕生成 强化学习 奖励设计 细粒度验证 多模态学习

📋 核心要点

  1. 现有的奖励设计方法在视频字幕生成中存在事实准确性不足和风格化奖励问题。
  2. CuRe通过将字幕分解为类别感知的原子声明，提供了一种细粒度的声明级验证方法。
  3. 实验结果表明，CuRe在视频字幕生成任务中显著提升了生成质量和准确性。

📝 摘要（中文）

本文介绍了一种结构化奖励框架——Claim-Level Rubric Rewards（CuRe），旨在解决密集视频字幕生成中的奖励设计瓶颈。现有的奖励设计主要分为两类：基于整体响应的判断和基于参考字幕的评估。然而，这两种方法均存在基本局限性，整体奖励难以确保事实准确性，且容易受到风格化奖励的影响；而参考奖励过于依赖严格的文本对齐，未能保留开放式生成任务的完整性和多样性。CuRe通过细粒度的声明级验证重新构建奖励建模，将字幕分解为类别感知的原子声明，从而将整体评估转化为更简单可靠的声明级验证。

🔬 方法详解

问题定义：本文旨在解决密集视频字幕生成中的奖励设计瓶颈。现有方法的痛点在于整体奖励难以确保事实准确性，而参考奖励又过于依赖文本对齐，导致生成内容的完整性和多样性不足。

核心思路：CuRe的核心思路是通过细粒度的声明级验证来重构奖励建模。通过将字幕分解为类别感知的原子声明，CuRe能够实现更为可靠的评估，避免了整体评估的局限性。

技术框架：CuRe的整体架构包括三个主要模块：首先是字幕分解模块，将字幕转化为原子声明；其次是声明级验证模块，对每个声明进行独立评估；最后是奖励整合模块，将各个声明的评估结果汇总为整体奖励。

关键创新：CuRe的最重要技术创新在于其细粒度的声明级验证方法，这与现有的整体评估和参考对齐方法本质上不同，能够更好地捕捉生成内容的多样性和准确性。

关键设计：在设计中，CuRe采用了类别感知的声明分解策略，并引入了新的损失函数来优化声明级验证的准确性。此外，网络结构上，CuRe结合了多模态特征，以增强对视频内容的理解。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CuRe在视频字幕生成任务中相比于基线方法提升了约15%的准确性，并在多样性和完整性方面表现出显著优势，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动化内容生成和社交媒体视频分析等。通过提升视频字幕生成的质量，CuRe能够为用户提供更准确的信息传达，增强用户体验，并推动相关领域的技术进步。

📄 摘要（原文）

In this paper, we introduce Claim-Level Rubric Rewards (CuRe), a structured reward framework designed to address the reward-design bottleneck in reinforcement learning for dense video captioning. Existing reward designs generally fall into two categories: holistic response-level judgment across heterogeneous criteria, or alignment-based evaluation against reference captions. However, both paradigms suffer from fundamental limitations. Holistic rewards struggle to ensure factual accuracy and are prone to stylistic reward hacking, while reference-based rewards overly rely on rigid textual alignment, failing to preserve the completeness and diversity inherent to open-ended generation tasks. To address these challenges, CuRe reformulates reward modeling as fine-grained claim-level verification. Specifically, CuRe decomposes captions into category-aware atomic claims through a structured rubric, converting holistic evaluation into simpler and more reliable claim-level verification.