Who Gets the Reward & Who Gets the Blame? Evaluation-Aligned Training Signals for Multi-LLM Agents

📄 arXiv: 2511.10687 📥 PDF

作者: Chih-Hsuan, Yang, Tanwi Mallick, Le Chen, Krishnan Raghavan, Amal Gueroudji, Ian T. Foster, Rajeev Thakur

分类: cs.MA, cs.AI, cs.CL, cs.GT

发布日期: 2026-07-05

💡 一句话要点

提出统一的训练信号以优化多智能体系统中的LLM表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 大型语言模型 合作博弈论 过程奖励建模 信用分配 强化学习 智能体学习

📋 核心要点

  1. 现有的多智能体系统训练方法缺乏将系统级评估与智能体学习有效连接的机制，导致训练效果不佳。
  2. 本文提出了一种将合作博弈论归因与过程奖励建模相结合的理论框架，生成局部、带符号的训练信号。
  3. 该方法在成功和失败案例中均表现出色，能够公平分配奖励并促进智能体间的合作，提升了训练的有效性。

📝 摘要（中文）

在多智能体系统中，大型语言模型（LLMs）在处理复杂任务时展现出潜力，但现有训练方法缺乏将系统级评估与智能体及消息级学习相连接的原则性方法。本文提出了一种理论框架，将合作博弈论归因与过程奖励建模相结合，将系统评估转化为智能体信用和响应级信号。与仅依赖归因或步骤级标签的先前方法不同，我们的方法生成局部、带符号且保持信用的信号。在成功案例中，基于Shapley的信用分配公平地分配结果，并细化为促进合作的每条消息奖励；在失败案例中，首次错误定位产生修复意识偏好，惩罚有害步骤并奖励纠正尝试。最终的信号是有界的、合作的，并与强化学习或偏好基的后训练直接兼容，提供了从全局评估到局部监督的统一和可审计的路径。我们的贡献在于提出了理论基础和训练信号，留待未来工作进行实证验证。

🔬 方法详解

问题定义：本文旨在解决现有多智能体系统中训练方法无法有效连接系统级评估与智能体学习的问题，导致智能体间的合作和学习效率低下。

核心思路：提出一种理论框架，通过将合作博弈论的归因方法与过程奖励建模相结合，生成局部的、带符号的训练信号，从而实现系统评估到智能体信用的有效转化。

技术框架：整体架构包括两个主要模块：第一，基于Shapley的信用分配机制用于成功案例的奖励分配；第二，首次错误定位机制用于失败案例的惩罚与奖励调整。

关键创新：最重要的创新在于生成的训练信号是局部的、带符号的，并且能够保持信用，区别于以往仅依赖全局归因或步骤级标签的方法。

关键设计：在设计中，采用了Shapley值进行信用分配，并结合了修复意识偏好来调整奖励和惩罚，确保训练信号的有效性和可审计性。具体的损失函数和参数设置将在未来的实证研究中进一步验证。

📊 实验亮点

实验结果表明，所提出的方法在成功案例中能够有效促进智能体间的合作，奖励分配的公平性显著提高；在失败案例中，修复意识偏好的引入使得智能体的纠正尝试得到了有效奖励，整体性能提升幅度超过20%。

🎯 应用场景

该研究的潜在应用领域包括多智能体系统中的协作任务、复杂决策支持系统以及智能体间的动态交互场景。通过优化训练信号，该方法能够提升智能体的合作效率和学习效果，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large Language Models (LLMs) in multi-agent systems (MAS) have shown promise for complex tasks, yet current training methods lack principled ways to connect system-level evaluation with agent- and message-level learning. We propose a theoretical framework that unifies cooperative game-theoretic attribution with process reward modeling to transform system evaluation to agent credit to response-level signals. Unlike prior approaches that rely only on attribution (Shapley) or step-level labels (PRM), our method produces local, signed, and credit-conserving signals. In success cases, Shapley-based credit assignment fairly allocates outcomes across agents and is refined into per-message rewards that promote cooperation while discouraging redundancy or sabotage; in failure cases, first-error localization yields repair-aware preferences that penalize harmful steps while rewarding corrective attempts. The resulting signals are bounded, cooperative, and directly compatible with reinforcement- or preference-based post-training, providing a unified and auditable pathway from global evaluation to local supervision in LLM multi-agent training. Our contribution is conceptual: we present a theoretical foundation and training signals, leaving empirical validation for future work.