Multi-Objective Reinforcement Learning Using Routed Ensembles and Trajectory Attribution

📄 arXiv: 2610.35733v1 📥 PDF

作者: Zhenshuo Zhang, Ruoxuan Xiong, Hongyang R. Zhang

分类: cs.LG, cs.AI, cs.MA, cs.RO, stat.ML

发布日期: 2026-10-26

备注: 30 pages. To appear at NeurIPS 2026 (extended version)

💡 一句话要点

提出基于路由集成和轨迹归因的多目标强化学习方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多目标强化学习 路由集成 轨迹归因 目标冲突 在线学习 机器人控制 智能决策

📋 核心要点

  1. 现有多目标强化学习方法在处理目标冲突时效率低下，导致样本利用不充分。
  2. 本文提出了目标冲突系数，设计了路由集成策略学习和核代理轨迹归因算法，以提高学习效率。
  3. 实验结果显示，路由集成在多个基准测试中平均提升4.3%，而核代理归因在奖励上提高了27%。

📝 摘要（中文）

多目标强化学习是现代人工智能中的一个基本问题，涉及后训练、推理模型和机器人控制等应用。本文提出了目标冲突系数，并在在线设置中推导出近似最优的遗憾界限，量化了目标不一致对学习效率的影响。我们设计了路由集成策略学习算法，动态选择潜在奖励最高的策略，并提出了核代理轨迹归因算法，以估计反馈信号对其他轨迹的影响。实验结果表明，路由集成在Meta-World和MO-Gymnasium的在线环境中平均性能提升4.3%，而核代理归因在留一分析中的相关性提高了50%。

🔬 方法详解

问题定义：本文旨在解决多目标强化学习中目标冲突导致的学习效率低下问题。现有方法在面对不同目标权重组合时，往往无法有效平衡各目标，导致样本利用不充分。

核心思路：提出目标冲突系数来量化目标间的冲突程度，并基于此设计路由集成策略学习算法，动态选择最优策略。同时，利用核代理轨迹归因算法来评估反馈信号对策略学习的影响。

技术框架：整体框架包括目标冲突系数的计算、路由集成策略的动态选择以及核代理轨迹归因的实现。具体流程为：首先计算目标冲突系数，然后根据该系数选择合适的策略，最后使用轨迹归因算法优化学习过程。

关键创新：最重要的创新在于引入目标冲突系数和核代理轨迹归因算法，这些方法能够有效提高多目标强化学习的样本效率和策略选择的准确性。与现有方法相比，能够更好地处理目标间的非线性交互。

关键设计：在算法设计中，设置了动态路由机制以选择最优策略，并采用核方法来捕捉轨迹间的非线性关系。损失函数设计上，考虑了目标冲突的影响，以优化学习过程。具体参数设置和网络结构细节在实验部分进行了详细描述。

📊 实验亮点

实验结果显示，路由集成策略在Meta-World和MO-Gymnasium的在线环境中平均性能提升4.3%，而核代理轨迹归因在留一分析中的相关性提高了50%。在轨迹选择应用中，基于核的归因方法在奖励上实现了27%的提升，显著优于基线方法。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、智能决策系统和多目标优化问题。通过提高多目标强化学习的效率，能够在复杂环境中实现更高效的决策和控制，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multi-objective reinforcement learning is a fundamental problem for modern AI, with applications spanning post-training, reasoning models, and robotic control. A central challenge is to learn policies that balance competing objectives, such as helpfulness versus honesty in safety and alignment, or speed versus energy in robotics. The optimal policy can vary sharply with objective-weighting combinations, and the extent of this variation depends crucially on the degree of conflict among objectives, making per-preference policy learning sample-inefficient. In this paper, we introduce objective-conflict coefficients and derive near-optimal regret bounds for online settings using this measure, thereby quantifying the impact of misalignment on learning efficiency. Then, we design routed ensemble policy learning, an algorithm that maintains a small set of basis policies and dynamically routes trajectories to the policy with the highest potential reward. Finally, we consider trajectory selection as another approach to mitigate objective conflict, and design a kernel surrogate trajectory attribution algorithm that estimates how feedback signals from a set of trajectories influence policy learning on other trajectories. The kernel can capture nonlinear interactions such as synergy and antagonism between trajectories. We evaluate our approach across diverse environments and benchmarks: routed ensembles improve average performance by 4.3% over baselines for online environments from Meta-World and MO-Gymnasium, and kernel surrogate attribution improves correlation with leave-one-out analysis over existing baselines by 50%. When applied to trajectory selection, kernel-based attribution yields a 27% improvement in reward over baseline attribution methods.