Many Voices, One Reward: Multi-Role Rubric Generation for LLM Judging and Reward Modeling

📄 arXiv: 2607.01830 📥 PDF

作者: Dazhi Fu, Jiuding Yang, Yiwen Guo, Jicong Fan

分类: cs.LG

发布日期: 2026-07-05

💡 一句话要点

提出多角色评分生成方法以解决单一评估者的盲点问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多角色评分生成 奖励建模 偏好验证 开放式任务 强化学习

📋 核心要点

  1. 现有的评分生成方法通常依赖单一评估者，导致对人类偏好的重要维度忽视，形成了维度盲点。
  2. 本文提出的多角色评分生成（MRRG）框架，通过多个互补角色生成评估标准，避免了单一评估者的局限性。
  3. 实验结果显示，MRRG在多个基准测试中表现优于单角色评分生成方法，并在强化学习中提供了更强的奖励信号。

📝 摘要（中文）

可靠的奖励和偏好信号对于评估和优化大型语言模型在开放式任务中的表现至关重要。基于评分标准的评估方法提供了一种透明的方式，将判断分解为明确的评估标准。然而，现有的无注释评分生成器通常依赖于单一的通用评估者，可能会忽视人类偏好的重要维度。为了解决这一局限性，本文提出了多角色评分生成（MRRG）框架，该框架无需训练和参考，通过多个互补角色引导评估标准的生成，并将其整合为可审计的评分器。实验结果表明，MRRG在偏好验证基准上显著优于单角色评分生成的基线，并在强化学习中提供了更强的奖励信号。

🔬 方法详解

问题定义：本文旨在解决现有评分生成方法中由于依赖单一评估者而导致的维度盲点问题。这种盲点可能导致评估标准的缺失，从而影响模型的优化效果。

核心思路：提出多角色评分生成（MRRG）框架，通过多个互补角色共同生成评估标准，确保覆盖更多的人类偏好维度。这种设计旨在提高评分的全面性和准确性。

技术框架：MRRG框架包括多个互补角色，每个角色负责生成特定的评估标准。生成的标准被整合为一个可审计的评分器，能够用于验证偏好和提供奖励信号。

关键创新：MRRG的主要创新在于其训练-free和参考-free的特性，通过多角色的协作生成评估标准，显著提升了评估的全面性和准确性，与传统的单角色方法形成鲜明对比。

关键设计：在设计中，MRRG不依赖于预先定义的标准，而是通过角色间的协作生成动态的评估标准。此外，评分器的构建采用了可审计的机制，以确保透明性和可验证性。实验中使用的损失函数和网络结构经过优化，以适应多角色生成的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MRRG在偏好验证基准上相较于单角色评分生成方法有显著提升，具体表现为在多个基础模型上均取得了更高的准确率。此外，在强化学习实验中，MRRG提供的奖励信号显著增强了模型的生成能力，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的评估与优化，尤其是在开放式生成任务中。通过提供更全面的评估标准，MRRG能够帮助开发者更好地理解模型的表现，并在实际应用中提升生成质量。未来，该方法可能扩展到其他需要多维度评估的领域，如图像生成和对话系统。

📄 摘要（原文）

Reliable reward and preference signals are critical for evaluating and optimizing large language models on open-ended tasks. Rubric-based judges offer a transparent way to decompose such judgments into explicit evaluation criteria, but existing annotation-free rubric generators typically rely on a single generic evaluator. As a result, they may overlook important dimensions of human preference, a failure mode we term dimensional blind spots. To address this limitation, we propose Multi-Role Rubric Generation (MRRG), a training-free and reference-free framework that elicits evaluation criteria from multiple complementary roles and consolidates them into an auditable rubric-based scorer. This scorer can be used both to validate pairwise preferences and to provide rewards for GRPO-style Reinforcement Learning with Verifiable Rewards (RLVR). Experiments on preference validation benchmarks show that MRRG consistently outperforms single-role rubric generation baselines across multiple backbone models. Further RLVR experiments demonstrate that MRRG yields a stronger reward signal for improving open-ended generation.