Many Voices, One Reward: Multi-Role Rubric Generation for LLM Judging and Reward Modeling

📄 arXiv: 2607.01830v1 📥 PDF

作者: Dazhi Fu, Jiuding Yang, Yiwen Guo, Jicong Fan

分类: cs.LG

发布日期: 2026-07-02

💡 一句话要点

提出多角色评分生成方法以解决单一评估维度盲点问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多角色评分生成 奖励建模 偏好验证 强化学习 大型语言模型

📋 核心要点

  1. 现有的评分生成方法通常依赖单一评估者，导致忽视人类偏好的多个维度，形成维度盲点。
  2. 本文提出的多角色评分生成（MRRG）框架，通过多种互补角色生成评估标准，避免了单一评估者的局限性。
  3. 实验结果显示，MRRG在偏好验证基准上超越了多种单角色评分生成基线，并在强化学习中提供了更强的奖励信号。

📝 摘要（中文）

可靠的奖励和偏好信号对于评估和优化大型语言模型在开放式任务中的表现至关重要。基于评分标准的评估提供了一种透明的方式，将判断分解为明确的评估标准，但现有的无注释评分生成器通常依赖单一的通用评估者，可能忽视人类偏好的重要维度。为了解决这一局限性，本文提出了多角色评分生成（MRRG）框架，该框架无需训练和参考，通过多种互补角色引出评估标准，并将其整合为可审计的评分器。该评分器可用于验证成对偏好，并为基于可验证奖励的强化学习提供奖励。实验结果表明，MRRG在多个基准测试中表现优于单角色评分生成基线，并在开放式生成任务中提供了更强的奖励信号。

🔬 方法详解

问题定义：本文旨在解决现有评分生成方法中由于依赖单一评估者而导致的维度盲点问题。这种方法可能无法全面捕捉人类偏好的多样性，影响评估的准确性和有效性。

核心思路：提出多角色评分生成（MRRG）框架，通过引入多个互补角色来生成评估标准，从而确保覆盖更多的评估维度。这种设计旨在增强评分的全面性和透明度。

技术框架：MRRG框架包括多个评估角色的定义与整合过程，首先从不同角色中提取评估标准，然后将这些标准整合为一个可审计的评分器。该评分器不仅用于验证成对偏好，还能为基于可验证奖励的强化学习提供奖励信号。

关键创新：MRRG的主要创新在于其训练-free和参考-free的特性，能够从多个角色中自动生成评估标准，避免了传统方法的局限性。这种方法的本质区别在于其多样性和全面性。

关键设计：在设计中，MRRG采用了多角色的评估机制，确保每个角色关注不同的评估维度。此外，评分器的整合过程采用了特定的参数设置，以优化最终的评估效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MRRG在偏好验证基准上始终优于单角色评分生成基线，具体表现为在多个基础模型上提升了评估准确性。此外，在强化学习实验中，MRRG提供了更强的奖励信号，显著改善了开放式生成的质量。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的评估与优化，尤其是在开放式生成任务中。通过提供更全面的评估标准，MRRG可以帮助开发更高效的语言模型，提升其在实际应用中的表现。未来，该方法可能对人机交互、自动内容生成等领域产生深远影响。

📄 摘要（原文）

Reliable reward and preference signals are critical for evaluating and optimizing large language models on open-ended tasks. Rubric-based judges offer a transparent way to decompose such judgments into explicit evaluation criteria, but existing annotation-free rubric generators typically rely on a single generic evaluator. As a result, they may overlook important dimensions of human preference, a failure mode we term dimensional blind spots. To address this limitation, we propose Multi-Role Rubric Generation (MRRG), a training-free and reference-free framework that elicits evaluation criteria from multiple complementary roles and consolidates them into an auditable rubric-based scorer. This scorer can be used both to validate pairwise preferences and to provide rewards for GRPO-style Reinforcement Learning with Verifiable Rewards (RLVR). Experiments on preference validation benchmarks show that MRRG consistently outperforms single-role rubric generation baselines across multiple backbone models. Further RLVR experiments demonstrate that MRRG yields a stronger reward signal for improving open-ended generation.