CARE: Contrastive Anchor-based Rubric Evolution for Large Language Model Post-Training

📄 arXiv: 2609.00892v1 📥 PDF

作者: Siyuan Li, Xinxin Song, Chen Ruinian, Jingjing Fan, Tingxiong Xiao, Yangen Hu, Ke Zeng, Jinli Suo

分类: cs.AI

发布日期: 2026-09-01

备注: EMNLP 2026 MainConference

💡 一句话要点

提出CARE以解决动态评分标准在LLM后训练中的不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 评分标准 强化学习 动态适应 对比学习 模型训练 开放式任务

📋 核心要点

  1. 现有的动态评分标准方法在处理开放式任务时存在无方向提取和攻击检测不可靠等问题。
  2. CARE通过对比高质量锚点响应，提出自适应和追逐两个机制，修复奖励误指定并优化评分标准。
  3. 在WildChecklist-9K实验中，CARE在多个基准测试中实现了最先进的性能，并在与GPT-4.1的对比中持续改善。

📝 摘要（中文）

基于评分标准的强化学习将开放式指令分解为特定提示的灵活评分标准，适用于后训练的大型语言模型（LLMs）。然而，静态评分标准在策略演变过程中容易被攻击，现有动态方法则引入了新的问题，如无方向的评分标准提取和不可靠的攻击检测。本文提出了CARE（对比锚点基础评分标准演变），通过高质量的锚点响应引导每一步评分标准的演变。CARE通过对比最高得分的结果与锚点，启用自适应和追逐两个互补机制，保持高奖励区域的判别准确性。实验结果表明，CARE在多个基准测试中表现优异，并在与GPT-4.1的对比中显示出持续的改进。

🔬 方法详解

问题定义：本文旨在解决现有动态评分标准在大型语言模型后训练中的不足，特别是静态评分标准易被攻击和动态方法引入的新问题，如无方向提取和不可靠检测。

核心思路：CARE的核心思路是通过高质量的锚点响应来引导评分标准的演变，利用对比机制来增强评分标准的准确性和适应性。

技术框架：CARE的整体架构包括两个主要模块：自适应分支和追逐分支。自适应分支用于修复奖励误指定，追逐分支则用于将质量差距转化为更精确的评分标准。

关键创新：CARE的主要创新在于通过对比锚点响应和最高得分结果，保持高奖励区域的判别准确性，这与现有方法的静态和无方向性评分标准形成了鲜明对比。

关键设计：在设计中，CARE采用了特定的损失函数来优化两个分支的协同工作，并通过动态调整评分标准以适应不断变化的策略需求。具体的参数设置和网络结构细节在实验中进行了优化。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在WildChecklist-9K的实验中，CARE在Arena-Hard-2.0、InfoBench和FollowBench上达到了最先进的性能，并且是唯一在300个训练步骤中与GPT-4.1的对比中显示出持续改善的方法，展现了其在不同模型家族中的良好泛化能力。

🎯 应用场景

CARE的研究成果在开放式任务的后训练中具有广泛的应用潜力，特别是在需要灵活评分标准的场景中，如教育评估、自动化内容生成和人机交互等领域。通过提高评分标准的动态适应性，CARE能够显著提升模型的实际表现和用户体验。

📄 摘要（原文）

Rubric-based reinforcement learning decomposes open-ended instructions into prompt-specific, flexible rubrics, making it better suited than reinforcement learning with verifiable rewards for post-training LLMs on open-ended tasks. However, static rubrics are inevitably hacked as the policy evolves, and existing dynamic approaches introduce new problems: undirected rubric extraction, unreliable hack detection, and unbounded rubric proliferation. We propose $\textbf{CARE}$ ($\textbf{C}$ontrastive $\textbf{A}$nchor-based $\textbf{R}$ubric $\textbf{E}$volution), which grounds every rubric evolution step in a high-quality anchor response generated by a frontier model conditioned on the prompt and its rubrics. At each training step, CARE contrasts the highest-scoring rollout against the anchor, enabling two complementary mechanisms: an Adaptive branch that reactively repairs reward misspecification; and a Chase branch that proactively converts frontier-level quality gaps into sharper rubrics. Together, the two branches $\textbf{maintain discriminative accuracy in the high-reward region}$---the precise region where reward over-optimization mostly originates. Experiments on WildChecklist-9K with Qwen2.5-7B-Base and Qwen2.5-7B-Instruct show that CARE achieves state-of-the-art performance on Arena-Hard-2.0, InfoBench, and FollowBench, and is the $\textbf{only}$ method whose win rate against GPT-4.1 anchor responses shows sustained improvement throughout 300 training steps; additional results on Llama-3.1-8B-Instruct and Qwen3-8B further indicate that CARE generalizes across model families.