Counterfactual Credit Policy Optimization for Multi-Agent Collaboration

📄 arXiv: 2603.21563 📥 PDF

作者: Zhongyi Li, Wan Tian, Jinju Chen, Huiming Zhang, Yang Liu, Yikun Ban, Fuzhen Zhuang

分类: cs.AI

发布日期: 2026-06-12

💡 一句话要点

提出反事实信用政策优化方法以解决多智能体协作中的信用分配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体协作 信用分配 反事实推理 强化学习 数学推理

📋 核心要点

  1. 现有的多智能体协作强化学习方法在信用分配上存在挑战，难以明确个体贡献，容易导致搭便车现象。
  2. 论文提出了反事实信用政策优化（CCPO）和自评信用政策优化（SEPO）两种方法，以实现个体贡献的明确评估。
  3. 实验结果显示，明确的信用分配显著提升了双智能体的推理能力，尤其在MATH500等基准测试中表现突出。

📝 摘要（中文）

协作多智能体大语言模型（LLMs）通过角色分解解决复杂推理任务，但强化学习在此类系统中的应用受到信用分配的限制：共享的终端奖励模糊了个体贡献，可能导致搭便车现象。本文提出了两种优化器无关的信用分配方法，将联合结果转换为特定于智能体的学习信号。反事实信用政策优化（CCPO）通过比较实际联合结果与去除某智能体后的反事实结果来估计该智能体的边际贡献。自评信用政策优化（SEPO）使用约束的自我和同行评估作为验证者锚定的信用信号，同时保持外部任务结果的主导地位。两者在奖励构建层面操作，而非作为政策优化器，为GRPO、GSPO或REINFORCE++生成角色特定的奖励或优势。我们在数学推理基准上评估了这些信用信号，结果表明，明确的信用分配通常能改善双智能体推理，尤其在MATH500及多个分布外设置上，尽管不同模型和数据集的提升幅度有所不同。

🔬 方法详解

问题定义：本文旨在解决多智能体协作中的信用分配问题，现有方法因共享奖励模糊了个体贡献，导致智能体间的合作效率降低。

核心思路：提出CCPO和SEPO两种方法，前者通过反事实比较评估个体贡献，后者利用自我和同行评估作为信用信号，确保外部任务结果的主导性。

技术框架：整体流程包括奖励构建层的操作，CCPO和SEPO分别生成角色特定的奖励信号，供后续的政策优化算法（如GRPO、GSPO或REINFORCE++）使用。

关键创新：CCPO和SEPO的最大创新在于优化器无关的信用分配机制，能够有效地将联合结果转化为个体学习信号，克服了传统方法的局限性。

关键设计：在设计中，CCPO通过对比实际结果与去除某智能体后的反事实结果来计算边际贡献，而SEPO则通过约束的自评和同行评估来生成信用信号，确保评估的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，采用明确的信用分配方法后，双智能体在MATH500基准测试中的推理能力显著提升，尤其在多个分布外设置中表现优异，提升幅度在不同模型和数据集上有所不同，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括多智能体系统、协作机器人、智能助手等，能够提升这些系统在复杂任务中的协作效率和推理能力。未来，随着智能体协作需求的增加，这些方法可能在实际应用中发挥重要作用，推动相关技术的发展。

📄 摘要（原文）

Collaborative multi-agent large language models (LLMs) can solve complex reasoning tasks by decomposing roles, but reinforcement learning for such systems is limited by credit assignment: shared terminal rewards obscure individual contributions and can encourage free-riding. We introduce two optimizer-agnostic credit assignment methods for converting joint outcomes into agent-specific learning signals. Counterfactual Credit for Policy Optimization (CCPO) estimates an agent's marginal contribution by comparing the realized joint outcome with a counterfactual outcome where that agent is removed. Self-Evaluated Credit for Policy Optimization (SEPO) uses constrained self- and peer-evaluations as a verifier-anchored credit signal while keeping the external task outcome dominant. Both operate at the reward-construction layer rather than as policy optimizers, producing role-specific rewards or advantages for GRPO, GSPO, or REINFORCE++. We instantiate these credit signals in a sequential Think--Solve setting and evaluate them on mathematical reasoning benchmarks. Results show that explicit credit assignment often improves dual-agent reasoning, especially on MATH500 and several out-of-distribution settings, while gains vary across models and datasets. Our code is available at:this https URL.