EvoRubrics: Dynamic Rubrics as Rewards via Adversarial Co-Evolution for LLM Reinforcement Learning
作者: Hongxin Ding, Baixiang Huang, Yue Fang, Weibin Liao, Zheng Li, Jinyang Zhang, Zhijing Wu, Junfeng Zhao, Yasha Wang
分类: cs.LG, cs.AI
发布日期: 2026-06-22
💡 一句话要点
提出EvoRubrics以解决静态评分标准在强化学习中的不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 动态评分 共演化 自监督学习 自然语言处理 模型评估 对抗性训练
📋 核心要点
- 现有的静态评分标准在强化学习中逐渐失去区分能力，导致奖励饱和和潜在的模型攻击。
- EvoRubrics通过共演化的方式，使策略大模型和评分生成器在每个训练步骤中相互促进，保持评分标准的动态适应性。
- 实验结果显示，EvoRubrics在多个基准测试中均优于静态和动态评分方法，且自监督变体也表现出显著的学习效果。
📝 摘要（中文）
基于评分标准的奖励为开放式任务中的强化学习提供了可解释和细致的优化信号。然而，预构建的评分标准在训练过程中保持静态，导致与不断演变的策略之间存在根本不匹配。为此，本文提出EvoRubrics，一个共演化的强化学习框架，其中策略大模型和评分生成器通过对抗性互动共同改进。实验表明，EvoRubrics在各基准测试中始终优于静态和动态评分基线，且即使在完全自监督的变体中也能取得显著提升，表明生成与评估之间的共演化能够提供丰富的学习信号。
🔬 方法详解
问题定义：本文旨在解决静态评分标准在强化学习中的不足，特别是其在模型改进过程中逐渐失去区分能力的问题。现有动态评分方法依赖外部模型或真实答案，更新频率低，无法有效适应模型的演变。
核心思路：EvoRubrics的核心思想是通过对抗性互动实现策略大模型与评分生成器的共演化，使得评分标准能够实时适应策略的改进，从而保持其有效性和信息量。
技术框架：该框架包括两个主要模块：策略大模型和评分生成器。两者在每个训练步骤中进行互动，策略大模型在评分生成器的指导下进行优化，而评分生成器则根据策略的变化调整评分标准。
关键创新：EvoRubrics的主要创新在于其共演化机制，使得评分标准能够动态适应模型的演变，解决了传统方法中评分标准静态带来的问题。这种设计使得评估过程能够实时跟踪策略的变化。
关键设计：在实现中，评分生成器的设计考虑了如何保持评分标准的区分性和信息量，具体的损失函数和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，EvoRubrics在多个基准测试中均显著优于静态和动态评分基线，尤其是在自监督变体中，模型表现出超过20%的性能提升，验证了共演化机制的有效性和学习信号的丰富性。
🎯 应用场景
EvoRubrics在开放式任务的强化学习中具有广泛的应用潜力，尤其适用于那些缺乏明确答案的领域，如自然语言处理、游戏智能体训练等。其动态评分标准的设计能够为模型提供更为细致的反馈，从而提升学习效率和效果。未来，该方法可能会影响更多自监督学习和无监督学习的研究方向。
📄 摘要（原文）
Rubric-based rewards offer interpretable and fine-grained optimization signals for reinforcement learning in open-ended tasks where verifiable answers are unavailable. However, pre-constructed rubrics remain static throughout training, creating a fundamental mismatch with the evolving policy: fixed criteria gradually lose discriminative power as the model improves, leading to reward saturation and potential hacking. Recent dynamic rubric methods partially address this but rely on external frontier models or ground-truth answers, and update rubrics only at coarse granularity. We propose EvoRubrics, a co-evolutionary RL framework where a Policy LLM and a Rubric Generator jointly improve through adversarial interaction within each training step. As the policy improves under the rubric generator's guidance, the rubric generator adapts its criteria to remain discriminative and informative, enabling evaluation to track the policy in real time and naturally inducing an automatic curriculum. Experiments show that EvoRubrics consistently outperforms static and dynamic rubric baselines across benchmarks. The learned Rubric Generator further generalizes as a transferable reward model. Notably, even a fully self-supervised variant without any external supervision achieves meaningful gains, suggesting that co-evolution between generation and evaluation alone can provide sufficiently rich learning signals. Our code is publicly available at https://anonymous.4open.science/r/EvoRubrics-2155/.