COMBO: Compositional World Models for Embodied Multi-Agent Cooperation
作者: Hongxin Zhang, Zeyuan Wang, Qiushi Lyu, Zheyuan Zhang, Sunli Chen, Tianmin Shu, Behzad Dariush, Kwonjoon Lee, Yilun Du, Chuang Gan
分类: cs.CV, cs.AI, cs.MA
发布日期: 2024-04-16 (更新: 2025-04-16)
备注: Published at ICLR 2025. 24 pages. The first three authors contributed equally
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出组合世界模型以解决多智能体合作问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 多智能体合作 组合世界模型 生成模型 视觉语言模型 在线规划
📋 核心要点
- 现有方法在多智能体合作中面临部分可观测性的问题，导致智能体无法有效规划和协调行为。
- 论文提出了一种组合世界模型，通过因式分解智能体的联合行为，生成与世界状态相适应的动态模拟。
- 在多个基准测试中，所提方法在2-4个智能体的合作任务中表现优异，显示出显著的效率提升。
📝 摘要（中文）
本文研究了具身多智能体合作的问题，其中去中心化的智能体仅能依赖自我中心的世界视图进行合作。为了在这种环境中有效规划，必须在仅有部分自我中心视觉观察的情况下，模拟世界动态并考虑任意数量的智能体行为。为了解决部分可观测性的问题，首先训练生成模型以估计整体世界状态。接着，提出了一种组合世界模型，通过对多个智能体的联合行为进行因式分解，生成与世界状态相适应的视频。结合视觉语言模型推断其他智能体的行为，利用树搜索程序整合这些模块，促进在线合作规划。实验结果表明，该组合世界模型在不同任务和任意数量的智能体中表现出色，展示了该方法的良好前景。
🔬 方法详解
问题定义：本文旨在解决具身多智能体合作中的部分可观测性问题。现有方法通常依赖单一智能体的视角，难以有效模拟多个智能体的联合行为。
核心思路：论文的核心思路是训练组合世界模型，通过因式分解多个智能体的联合行为，生成与当前世界状态相适应的动态模拟。这种设计使得智能体能够在复杂环境中进行有效的合作与规划。
技术框架：整体架构包括三个主要模块：首先是生成模型，用于从部分观察中估计整体世界状态；其次是组合世界模型，用于模拟多个智能体的联合行为；最后是结合视觉语言模型的树搜索程序，整合各模块以实现在线合作规划。
关键创新：最重要的技术创新在于组合世界模型的提出，它通过因式分解智能体的行为，使得动态模拟更加灵活和高效。这一方法与传统的单一智能体模型有本质区别，能够处理更复杂的多智能体交互。
关键设计：在模型设计中，采用了特定的损失函数来优化生成模型的准确性，并通过网络结构的调整来提高组合模型的表达能力。具体参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提组合世界模型在多个基准测试中表现优异，尤其在2-4个智能体的合作任务中，相较于基线方法，效率提升显著，具体性能数据未详细列出，但展示了良好的合作能力和灵活性。
🎯 应用场景
该研究的潜在应用领域包括机器人协作、智能交通系统以及多智能体游戏等。通过提高智能体之间的合作效率，该方法能够在复杂环境中实现更高效的任务执行，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
In this paper, we investigate the problem of embodied multi-agent cooperation, where decentralized agents must cooperate given only egocentric views of the world. To effectively plan in this setting, in contrast to learning world dynamics in a single-agent scenario, we must simulate world dynamics conditioned on an arbitrary number of agents' actions given only partial egocentric visual observations of the world. To address this issue of partial observability, we first train generative models to estimate the overall world state given partial egocentric observations. To enable accurate simulation of multiple sets of actions on this world state, we then propose to learn a compositional world model for multi-agent cooperation by factorizing the naturally composable joint actions of multiple agents and compositionally generating the video conditioned on the world state. By leveraging this compositional world model, in combination with Vision Language Models to infer the actions of other agents, we can use a tree search procedure to integrate these modules and facilitate online cooperative planning. We evaluate our methods on three challenging benchmarks with 2-4 agents. The results show our compositional world model is effective and the framework enables the embodied agents to cooperate efficiently with different agents across various tasks and an arbitrary number of agents, showing the promising future of our proposed methods. More videos can be found at https://umass-embodied-agi.github.io/COMBO/.