CONCUR: Concordant Auxiliary Rewards for Multi-Task, Multi-Reward Reinforcement Learning

📄 arXiv: 2610.36437v1 📥 PDF

作者: Jixuan Leng, Si Si, Fei Wang, Cho-Jui Hsieh, Jiong Zhang, Hsiang-Fu Yu, Inderjit S. Dhillon

分类: cs.CL

发布日期: 2026-10-27

💡 一句话要点

提出CONCUR以解决多任务强化学习中的奖励冲突问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多任务学习 强化学习 奖励机制 优势估计 自然语言处理 模型优化

📋 核心要点

  1. 现有的多任务强化学习方法中，主奖励的限制会影响辅助奖励的有效性，导致某些任务表现不佳。
  2. 本文提出的CONCUR方法通过调整辅助奖励的评分机制，确保高主奖励的响应不会被低估，提升了多任务学习的效果。
  3. 实验结果显示，CONCUR在多个模型和任务上均表现优于基线，且在去除所有辅助奖励的情况下也有显著提升。

📝 摘要（中文）

在大型语言模型（LLM）通过强化学习（RL）训练多个任务时，主奖励可能会限制辅助奖励的作用，例如长度奖励。在响应失败时，辅助奖励不能超过主奖励。然而，现有的群体相对优势估计器将被限制的辅助视为其他组件，可能会颠倒主奖励的顺序。为了解决这一问题，本文提出了CONCUR，这是一种优势估计器，通过替换每个被限制的辅助的标准化分数，确保高主奖励的响应不会获得低分，并且在主奖励达到上限时，所有响应获得相同分数。CONCUR-T在训练过程中应用这两个条件，而CONCUR-A则在通过响应中更常与主奖励一致的辅助上放宽第二个条件。实验结果表明，两种变体在多个模型和任务上均优于所有基线和完全去除辅助的情况。

🔬 方法详解

问题定义：本文旨在解决在多任务强化学习中，主奖励限制辅助奖励的现象，导致任务表现不均衡的问题。现有方法未能有效处理这种奖励冲突，影响了模型的整体性能。

核心思路：CONCUR的核心思路是通过替换被限制的辅助奖励的标准化分数，确保高主奖励的响应不会被低估，同时在主奖励达到上限时，所有响应获得相同分数，从而保持奖励的一致性。

技术框架：CONCUR方法分为两个变体：CONCUR-T和CONCUR-A。CONCUR-T在整个训练过程中应用上述两个条件，而CONCUR-A则在通过响应中更常与主奖励一致的辅助上放宽第二个条件。

关键创新：CONCUR的主要创新在于其独特的优势估计机制，能够有效解决主奖励与辅助奖励之间的冲突，确保模型在多任务学习中的稳定性和一致性。与现有方法相比，CONCUR在处理奖励冲突方面具有显著优势。

关键设计：在设计上，CONCUR采用了新的评分机制，确保高主奖励响应的评分不低于低主奖励响应，同时在主奖励达到上限时，所有响应的评分相同。这种设计使得模型在多任务学习中能够更好地利用辅助奖励。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CONCUR在三个模型和多个任务上均表现优于所有基线，平均得分提升显著，尤其是在数学、代码生成和指令跟随等任务中，展示了其在多任务强化学习中的有效性和优势。

🎯 应用场景

CONCUR方法具有广泛的应用潜力，尤其是在需要处理多任务和多奖励的场景中，如自然语言处理、机器人控制和游戏AI等领域。通过优化奖励机制，CONCUR可以提升模型的学习效率和任务适应能力，推动智能系统的进一步发展。

📄 摘要（原文）

When a Large Language Model (LLM) is trained with Reinforcement Learning (RL) on multiple tasks, a task's primary reward can gate auxiliary rewards such as a length reward: on a failing response, an auxiliary cannot exceed the primary. However, group-relative advantage estimators treat a gated auxiliary like any other component, so it can reverse the primary's order, and at the primary's ceiling only auxiliaries order responses. Keeping gated auxiliaries hurts some tasks, while dropping them hurts others. We propose CONCUR, an advantage estimator that replaces the standardized scores of each gated auxiliary with the closest scores that satisfy two conditions: responses with higher primary rewards cannot receive lower scores, and responses at the primary's ceiling receive equal scores. CONCUR-T applies both conditions throughout training, and CONCUR-A lifts the second for an auxiliary that agrees with the primary's order more often than it reverses it among passing responses. On three models from two families and across math, code, instruction following, and writing, both variants score higher on average than all baselines and than when all the gated auxiliaries are dropped.