SMOPD: Multi-Reward Reinforcement Learning via Specialize-and-Merge Online Policy Distillation

📄 arXiv: 2608.03092v1 📥 PDF

作者: Wen Wang, Jiahua Bao, Tu Yongsiqi, Yihao Liu, Haotian Zhou, Haoxuan Ma, Mengyu Zhou, Wenkui Fan, Junwei He, Xiaoxi Jiang, Guanjun Jiang

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-08-04

备注: 21 pages, 5 figures, 12 tables

💡 一句话要点

提出SMOPD以解决多奖励强化学习中的信号平衡问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多奖励强化学习 策略蒸馏 奖励信号平衡 模型优化 机器人控制 游戏AI 多任务学习

📋 核心要点

  1. 现有的GDPO方法在处理不同粒度的奖励信号时仍面临平衡困难，尤其是稀疏奖励的优化信号不足。
  2. SMOPD方法通过两个阶段的训练，首先专门化奖励信号，然后利用在线策略蒸馏合并多个教师策略，提升整体优化效果。
  3. 在实验中，SMOPD在1.5B、3B和7B的模型上均优于GDPO，显示出显著的性能提升。

📝 摘要（中文）

本研究旨在提升多奖励强化学习的模型性能。现有的群体奖励解耦归一化策略优化（GDPO）在奖励信号相互掩盖的问题上有所缓解，但在处理不同粒度的奖励信号时仍存在挑战。尤其是在某些训练任务中，模型可能同时接收到细粒度的稠密奖励和稀疏的二元反馈奖励，导致稀疏奖励无法有效提供优化信号。为此，本文提出了专门化与合并在线策略蒸馏（SMOPD），通过两个阶段的训练方法来优化多奖励。实验结果表明，SMOPD在多个基准上超越了GDPO。

🔬 方法详解

问题定义：本研究解决的是多奖励强化学习中不同粒度奖励信号平衡的问题。现有的GDPO方法在稀疏奖励的优化信号不足时，无法有效强化模型能力。

核心思路：SMOPD的核心思路是通过两个阶段的训练，首先专门化每个奖励信号的学习，然后将这些专门化的能力合并为一个统一的学生策略，以实现更好的优化效果。

技术框架：SMOPD的整体架构分为两个主要阶段：第一阶段是专门化训练，针对不同奖励信号配置优先级；第二阶段是在线策略蒸馏，将多个教师策略的能力合并为一个学生策略。

关键创新：SMOPD的关键创新在于通过奖励优先级配置训练多个专门化教师，并利用在线策略蒸馏技术有效整合这些教师的能力，解决了稀疏与稠密奖励信号的平衡问题。

关键设计：在设计中，SMOPD采用了奖励优先级配置的策略，确保每个奖励信号在其最有效的条件下进行学习，同时在蒸馏过程中保持任务级别的优化平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SMOPD在1.5B、3B和7B模型上均超越了GDPO，展现出显著的性能提升，尤其在处理稀疏与稠密奖励的任务中，优化效果明显，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、游戏AI以及多任务学习等场景，能够有效提升模型在复杂环境中的决策能力和适应性。未来，SMOPD方法可能推动多奖励强化学习在实际应用中的广泛采用，提升智能系统的性能和效率。

📄 摘要（原文）

We aim to improve model performance in multi-reward reinforcement learning training process. Existing Group reward-Decoupled Normalization Policy Optimization (GDPO) has mitigated the issue of reward signals masking one another during direct scalarization by normalizing each reward dimension separately before aggregation. However, our experiments show that GDPO still struggles to balance reward signals with different granularities. Specifically, in some particular training tasks, the model may receive a dense reward that assigns fine-grained scores ranging from 0.1 to 1.0, together with a sparse reward that provides only binary feedback of either 0 or 1. In such cases, we find that the sparse reward may provide an insufficient optimization signal, preventing its corresponding capability from being effectively reinforced. Therefore, how can we strengthen the optimization signal from the sparse reward without sacrificing the capability already learned from the fine-grained reward? To overcome this limitation, we propose Specialize-and-Merge Online Policy Distillation (SMOPD), a two-stage training method for multi-reward optimization. Stage1-Specialize: SMOPD first employs reward-priority configurations to train multiple reward-specialized teachers, allowing each reward to be learned under conditions where its signal can effectively drive optimization. Stage2-Merge: SMOPD then utilizes online policy distillation to combine the reward-specialized capabilities of these teachers into a single student policy, while maintaining balanced task-level optimization. To validate our method, we conduct experiments on two multi-reward settings: complementary rewards(tool-calling accuracy and format) and conflicting rewards (helpful and harmless rewards). Based on above settings, SMOPD outperforms GDPO across 1.5B, 3B and 7B backbones.