SetGRPO: Calibrating Grader-Induced Policy Optimization

📄 arXiv: 2610.36807v1 📥 PDF

作者: Jiale Huang, Zixu Li, Zhiwei Chen, Zhiheng Fu, Jinhe Bi, Yupeng Hu

分类: cs.LG, cs.AI

发布日期: 2026-10-27

💡 一句话要点

提出SetGRPO以解决评分者随机性对策略优化的影响

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 评分者反馈 策略优化 不确定性校准 模型训练 开放式任务 风险控制

📋 核心要点

  1. 现有的GRPO方法在处理评分者随机性时存在不足，评分差异可能导致整体更新方向的不可控变化。
  2. 本文提出SetGRPO，通过联合奖励集校准、几何引导安全恢复和选择性风险门控优化来解决评分者反馈带来的不确定性。
  3. 在十个开放式基准测试中，SetGRPO在Qwen3.5和Llama3.2模型上表现优异，达到了最高的宏平均分。

📝 摘要（中文）

基于评分标准的强化学习利用细粒度的评分者反馈来训练大型语言模型，但评分者的随机性可能会以评分差异无法表征的方式影响GRPO更新。由于GRPO在每个响应组内联合归一化奖励，并将结果训练系数与响应级梯度结合，评分差异可能会改变整个组的系数并引发依赖于策略的更新变化。为此，本文提出了Set-Valued Group Relative Policy Optimization（SetGRPO），包括三个模块：联合奖励集校准、几何引导安全恢复和选择性风险门控优化。SetGRPO在十个跨领域的开放式基准测试中，在Qwen3.5和Llama3.2模型系列上实现了所有比较训练方法中的最高宏平均。

🔬 方法详解

问题定义：本文旨在解决评分者随机性对GRPO更新的影响，现有方法无法有效应对评分差异导致的更新方向变化。

核心思路：SetGRPO通过构建联合不确定性集和几何引导的安全恢复机制，确保在更新过程中控制风险，同时保持原有GRPO目标。

技术框架：SetGRPO由三个主要模块组成：1) 联合奖励集校准，构建训练系数的联合不确定性集；2) 几何引导安全恢复，将候选系数映射到当前策略的局部更新几何中；3) 选择性风险门控优化，通过独立风险校准选择全局阈值，控制接受更新的方向反转风险。

关键创新：SetGRPO的创新在于其联合奖励集校准和几何引导的安全恢复机制，能够有效应对评分者反馈的不确定性，与传统GRPO方法相比，提供了更为稳健的更新策略。

关键设计：在设计中，SetGRPO引入了风险校准机制和全局阈值选择，以确保在更新过程中保持方向的一致性，同时优化了训练系数的选择和更新过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在十个开放式基准测试中，SetGRPO在Qwen3.5和Llama3.2模型系列上实现了最高的宏平均分，显著优于其他训练方法，展示了其在处理评分者随机性方面的有效性和优势。

🎯 应用场景

SetGRPO的研究成果在教育评估、自动评分系统和开放式任务的强化学习应用中具有广泛的潜在应用价值。通过提高模型在面对不确定反馈时的鲁棒性，能够更好地支持复杂任务的自动化处理，提升用户体验和系统性能。

📄 摘要（原文）

Rubric-based reinforcement learning uses fine-grained grader feedback to train large language models on open-ended tasks, but grader randomness can alter GRPO updates in ways that score discrepancies alone cannot characterize. Because GRPO jointly normalizes rewards within each response group and combines the resulting training coefficients with response-level gradients, a scoring discrepancy can shift the coefficients of the entire group and induce policy-dependent update changes. Selective execution further affects the direction-reversal risk of retained updates. To address this, we propose Set-Valued Group Relative Policy Optimization (SetGRPO). It comprises three modules: (a) Joint Reward Set Calibration constructs a joint uncertainty set for the training coefficients; (b) Geometry-Guided Safe Recovery maps candidate coefficients into the current policy's local update geometry and determines the largest safe recovery ratio for each response group; and (c) Selective Risk-Gated Optimization selects a global threshold through independent risk calibration to control the conditional direction-reversal risk of accepted updates while preserving the original GRPO objective. Under exchangeability, SetGRPO provides finite-sample marginal coverage for the joint coefficient set and simultaneous risk control across candidate thresholds. On ten open-ended benchmarks spanning three domains, SetGRPO achieves the highest macro average among all compared training methods on both Qwen3.5 and Llama3.2 model families.