LLawCo: Learning Laws of Cooperation for Modeling Embodied Multi-Agent Behavior

📄 arXiv: 2606.28182v1 📥 PDF

作者: Qinhong Zhou, Chuang Gan, Anoop Cherian

分类: cs.LG, cs.AI, cs.CV, cs.RO

发布日期: 2026-06-26

备注: Accepted to ICML 2026

💡 一句话要点

提出LLawCo框架以解决多智能体合作行为不一致问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 合作法则 行为模式提取 大型语言模型 任务成功率 智能体对齐 监督微调

📋 核心要点

  1. 现有的基于大型语言模型的智能体在合作时常常表现出不一致的行为，导致合作效率低下。
  2. 本文提出的LLawCo框架通过反思过去的失败，提取行为法则，使智能体能够更好地与合作伙伴对齐。
  3. 在PARTNR-Dialog基准上，LLawCo在合作效率和任务成功率上分别提高了4.5%和6.8%。

📝 摘要（中文）

近年来，嵌入式智能体在去中心化和部分可观察环境中的应用受到越来越多的关注。然而，现有基于大型语言模型的智能体常常表现出与合作伙伴不一致或与环境状态不匹配的行为，导致合作效率低下和任务成功率不佳。为了解决这一挑战，本文提出了一种新颖的框架——合作法则学习（LLawCo），使智能体能够自主与合作伙伴和任务目标对齐。该框架允许智能体反思过去的失败，提取不一致的行为模式，从而推导出高层次的行为法则，如“必要时沟通”和“等待伙伴”。这些法则通过监督微调显式地融入智能体的思维链中，使其推理与任务要求和其他智能体的行为保持一致。实验结果表明，LLawCo在合作效率和任务成功率上显著提升。

🔬 方法详解

问题定义：本文旨在解决嵌入式智能体在去中心化和部分可观察环境中合作时行为不一致的问题。现有方法在智能体之间的合作和任务执行中存在效率低下和成功率低的问题。

核心思路：LLawCo框架的核心思路是通过反思智能体的历史行为，提取出高层次的行为法则，并将其融入智能体的推理过程中，以实现与合作伙伴和任务目标的对齐。

技术框架：该框架包括几个主要模块：首先，智能体通过分析过去的失败提取行为模式；其次，基于这些模式推导出行为法则；最后，通过监督微调将这些法则融入智能体的思维链中。

关键创新：LLawCo的创新在于引入了行为法则的概念，使智能体在决策时能够考虑与合作伙伴的关系和任务要求，这与现有方法的单一决策机制有本质区别。

关键设计：在设计上，LLawCo使用了特定的损失函数来优化智能体的行为法则融入过程，并采用了多种大型语言模型作为基础架构，以确保其适应性和有效性。具体的参数设置和网络结构细节在实验部分有详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在PARTNR-Dialog基准上，LLawCo方法在合作效率和任务成功率上分别提高了4.5%和6.8%。与现有的开源通信智能体框架相比，LLawCo展示了显著的性能提升，证明了其有效性和实用性。

🎯 应用场景

LLawCo框架具有广泛的潜在应用场景，尤其是在多智能体系统中，如机器人协作、无人驾驶车辆的协同控制以及智能家居系统等。通过提高智能体之间的合作效率，该研究能够显著提升任务执行的成功率，进而推动智能体在复杂环境中的应用和发展。

📄 摘要（原文）

Embodied agents operating in decentralized and partially observable environments have attracted growing attention in recent years. However, existing large language model (LLM)-based agents often exhibit behaviors that are misaligned with their partners or inconsistent with the environment state, leading to inefficient cooperation and poor task success. To address this challenge, we propose a novel framework, Learning Laws of Cooperation (LLawCo), that enables embodied agents to autonomously align with both their partners and task objectives. Our framework allows agents to reflect on past failures to extract misaligned behavioral patterns, which are used to derive high-level behavioral laws, such as "Talk when necessary" and "Wait for partner." These laws are explicitly incorporated into the agents' chains of thought via supervised fine-tuning, aligning their reasoning with task requirements and the behavior of other agents. To evaluate our approach, we introduce PARTNR-Dialog, a large-scale multi-agent communicative and cooperative planning benchmark built on the PARTNR environment. Experiments on existing tasks and our new benchmark demonstrate significant improvements in cooperative efficiency and task success rates. Across four backbone LLMs, our method achieves average success rate improvements of 4.5% on the PARTNR-Dialog benchmark and 6.8% on the TDW-MAT benchmark over state-of-the-art open-source communicative agent frameworks. See the LLawCo project page for details: https://www.merl.com/research/highlights/LLawCo