GPDPO: Learning from Reward Conflicts via Group Pareto-Dominance Policy Optimization

📄 arXiv: 2610.35480v1 📥 PDF

作者: Zixuan Xu, Haoxuan Chen, Jiangxin Sun, Jian-Fang Hu

分类: cs.LG, cs.CL

发布日期: 2026-10-26

💡 一句话要点

提出GPDPO以解决多奖励信号冲突问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多奖励强化学习 帕累托主导 策略优化 冲突处理 大型语言模型

📋 核心要点

  1. 现有多奖励强化学习方法在处理冲突奖励信号时，往往未能充分利用响应之间的关系信息，导致有效监督的丢失。
  2. GPDPO通过识别采样响应的帕累托主导关系，将其转化为辅助偏好信号，与原始策略目标共同优化，从而提高了现有回滚的利用效率。
  3. 在API-Bank的实验中，GPDPO在多个模型规模和奖励配置下均表现优异，显著减少了奖励冲突，验证了关系监督的有效性。

📝 摘要（中文）

多奖励强化学习为将大型语言模型（LLMs）与多样化目标对齐提供了有前景的框架，但冲突的奖励信号可能导致模糊的更新方向，妨碍稳定优化。现有方法主要通过奖励重加权、梯度协调或回滚过滤来解决这些冲突，但它们主要在单响应或组级优化信号上操作，未充分利用采样响应之间的关系信息。为此，本文提出了群体帕累托主导策略优化（GPDPO），该方法从冲突过滤的回滚中恢复成对监督，识别采样响应之间的帕累托主导关系，并将其转化为辅助偏好信号，与原始策略目标共同优化。实验结果表明，GPDPO在多个模型规模和奖励配置下，始终优于竞争的多奖励优化基线。

🔬 方法详解

问题定义：本文旨在解决多奖励强化学习中由于奖励信号冲突导致的优化不稳定性问题。现有方法在处理这些冲突时，往往忽视了响应之间的关系信息，导致有效监督的丢失。

核心思路：GPDPO的核心思想是通过识别采样响应之间的帕累托主导关系，将其转化为辅助偏好信号，并与原始策略目标共同优化。这种设计旨在更有效地利用现有的回滚数据，而无需额外的采样或奖励评估。

技术框架：GPDPO的整体架构包括两个主要模块：一是冲突过滤的回滚生成，二是基于帕累托主导关系的偏好信号优化。通过这两个模块的协同工作，实现了对奖励信号的有效整合与优化。

关键创新：GPDPO的主要创新在于其能够从冲突过滤的回滚中恢复成对监督，并将其转化为辅助偏好信号。这一方法与现有的单响应或组级优化方法本质上不同，能够更全面地利用响应之间的关系信息。

关键设计：在GPDPO中，关键的参数设置包括帕累托主导关系的识别阈值和辅助偏好信号的权重。此外，损失函数的设计也考虑了奖励冲突的减少，以确保优化过程的稳定性和有效性。

📊 实验亮点

在API-Bank的实验中，GPDPO在多个模型规模和奖励配置下均表现出色，相较于竞争的多奖励优化基线，显著减少了奖励冲突，提升了优化稳定性，验证了其在多奖励对齐中的有效性。

🎯 应用场景

GPDPO的研究成果在多奖励强化学习领域具有广泛的应用潜力，尤其是在大型语言模型的训练中。通过有效处理奖励信号冲突，该方法能够提升模型在多样化任务中的表现，未来可能在自然语言处理、机器人控制等领域产生重要影响。

📄 摘要（原文）

Multi-reward reinforcement learning offers a promising framework for aligning large language models (LLMs) with diverse objectives, but conflicting reward signals can induce ambiguous update directions and hinder stable optimization. Existing approaches address such conflicts through reward reweighting, gradient coordination, or rollout filtering, yet they primarily operate on per-response or group-level optimization signals and underexploit relational information among sampled responses. As a result, conflict-filtered rollouts may still contain useful supervision that is discarded during training. We propose Group Pareto-Dominance Policy Optimization (GPDPO), a multi-reward policy optimization method that recovers pairwise supervision from conflict-filtered rollouts. GPDPO identifies Pareto-dominance relations among sampled responses and converts them into auxiliary preference signals, which are jointly optimized with the original policy objective. This enables more effective reuse of existing rollouts without additional sampling or reward evaluation. Experiments on API-Bank across multiple model scales and reward configurations show that GPDPO consistently outperforms competitive multi-reward optimization baselines. Further analysis demonstrates that GPDPO reduces both group-relative and pairwise reward conflicts, supporting the effectiveness of exploiting relational supervision for multi-reward alignment. Code will be released.