Heterogeneous Agent Collaborative Reinforcement Learning

📄 arXiv: 2603.02604v1 📥 PDF

作者: Zhixia Zhang, Zixuan Huang, Xin Xia, Deqing Wang, Fuzhen Zhuang, Shuai Ma, Ning Ding, Yaodong Yang, Jianxin Li, Yikun Ban

分类: cs.LG

发布日期: 2026-03-03

💡 一句话要点

提出HACRL框架，通过异构智能体协同强化学习提升样本利用率和知识迁移。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 异构智能体 协同强化学习 多智能体系统 知识迁移 策略优化

📋 核心要点

  1. 传统强化学习中，异构智能体独立优化效率低下，阻碍了知识共享和协同提升。
  2. HACRL框架允许异构智能体共享经验轨迹，实现双向互学习，无需协调部署。
  3. HACPO算法通过有原则的轨迹共享和定制机制，提升样本利用率和优化正确性，实验证明其有效性。

📝 摘要（中文）

本文提出异构智能体协同强化学习（HACRL），一种新的学习范式，旨在解决独立策略优化效率低下的问题。HACRL支持具有独立执行能力的协同优化：异构智能体在训练期间共享经过验证的轨迹，以实现相互改进，同时在推理时独立运行。与基于LLM的多智能体强化学习（MARL）不同，HACRL不需要协调部署；与on-/off-policy蒸馏不同，它支持异构智能体之间的双向互学习，而不是单向的教师到学生的知识转移。基于此范式，我们提出了一种协同强化学习算法HACPO，它能够进行有原则的轨迹共享，从而最大限度地提高样本利用率和跨智能体的知识转移。为了缓解能力差异和策略分布偏移，HACPO引入了四种定制机制，并在无偏优势估计和优化正确性方面具有理论保证。在各种异构模型组合和推理基准上的大量实验表明，HACPO始终能够改进所有参与的智能体，平均优于GSPO 3.3％，同时仅使用一半的轨迹成本。

🔬 方法详解

问题定义：现有强化学习方法在异构智能体场景下，通常采用独立优化策略，导致样本利用率低，知识无法有效迁移。异构智能体能力差异和策略分布偏移进一步加剧了学习难度。因此，如何实现异构智能体之间的有效协同学习，提升整体性能，是一个亟待解决的问题。

核心思路：HACRL的核心思路是允许异构智能体在训练过程中共享经验轨迹，从而实现知识的相互学习和提升。这种共享是双向的，每个智能体既可以从其他智能体学习，也可以向其他智能体贡献经验。通过共享高质量的轨迹数据，可以有效提高样本利用率，加速学习过程。

技术框架：HACRL框架包含以下主要组成部分：1) 异构智能体集合，每个智能体具有不同的模型结构和能力；2) 共享经验池，用于存储和管理智能体共享的轨迹数据；3) 轨迹选择机制，用于选择高质量的轨迹进行共享；4) 策略更新机制，用于利用共享的轨迹数据更新智能体的策略。HACPO算法是基于HACRL框架的具体实现，它采用近端策略优化（PPO）作为基础算法，并引入了定制的机制来处理异构性和策略分布偏移。

关键创新：HACRL的关键创新在于提出了异构智能体协同学习的范式，并设计了相应的算法HACPO。与传统的单向知识蒸馏方法不同，HACRL支持双向的互学习，允许每个智能体从其他智能体学习，从而实现更有效的知识迁移。此外，HACPO还引入了四种定制机制，以缓解能力差异和策略分布偏移，保证了无偏优势估计和优化正确性。

关键设计：HACPO算法的关键设计包括：1) 基于置信度的轨迹选择机制，选择高质量的轨迹进行共享；2) 基于重要性采样的策略更新机制，缓解策略分布偏移的影响；3) 基于能力加权的优势估计，考虑异构智能体的能力差异；4) 基于正则化的策略优化，防止策略过度更新。这些机制共同作用，保证了HACPO算法在异构智能体场景下的有效性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HACPO在各种异构模型组合和推理基准上均优于GSPO。具体而言，HACPO平均优于GSPO 3.3％，同时仅使用一半的轨迹成本。这表明HACPO能够有效提高样本利用率和知识迁移效率，从而实现更快的学习速度和更高的性能。

🎯 应用场景

HACRL适用于各种需要异构智能体协同完成任务的场景，例如：机器人团队协作、自动驾驶车队协同、多智能体游戏等。通过HACRL，可以充分利用不同智能体的优势，提高整体性能和效率，实现更智能、更灵活的系统。

📄 摘要（原文）

We introduce Heterogeneous Agent Collaborative Reinforcement Learning (HACRL), a new learning paradigm that addresses the inefficiencies of isolated on-policy optimization. HACRL enables collaborative optimization with independent execution: heterogeneous agents share verified rollouts during training to mutually improve, while operating independently at inference time. Unlike LLM-based multi-agent reinforcement learning (MARL), HACRL does not require coordinated deployment, and unlike on-/off-policy distillation, it enables bidirectional mutual learning among heterogeneous agents rather than one-directional teacher-to-student transfer. Building on this paradigm, we propose HACPO, a collaborative RL algorithm that enables principled rollout sharing to maximize sample utilization and cross-agent knowledge transfer. To mitigate capability discrepancies and policy distribution shifts, HACPO introduces four tailored mechanisms with theoretical guarantees on unbiased advantage estimation and optimization correctness. Extensive experiments across diverse heterogeneous model combinations and reasoning benchmarks show that HACPO consistently improves all participating agents, outperforming GSPO by an average of 3.3\% while using only half the rollout cost.