Planner-Conditioned Diffusion for Coordinated Multi-Agent Exploration
作者: Marcus Yu Siong Teo, Jeric Lew, Tanishq Duhan, Guillaume Sartoretti
分类: cs.RO
发布日期: 2026-08-17
备注: Code and models are available at https://github.com/marmotlab/PCDP
💡 一句话要点
提出规划条件扩散策略以解决多智能体协调探索问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多智能体系统 协调探索 扩散策略 轨迹生成 局部重排序 规划条件
📋 核心要点
- 现有方法依赖手工设计的协调规则，难以适应复杂的多智能体探索任务，且端到端学习方法在扩展性和训练上存在挑战。
- 提出的规划条件扩散策略（PCDP）通过引入多种规划风格的演示，利用规划身份作为条件输入，学习多模态轨迹分布，从而实现多样化的轨迹生成。
- 在四智能体仿真设置中，PCDP与扩散基线相比，成功率相当，同时在最大代理旅行、团队总旅行和代理不平衡性上均有显著提升。
📝 摘要（中文）
协调的多智能体探索不仅需要高效的个体覆盖，还需在较长的规划时间内实现非冗余的覆盖。传统方法依赖手工设计的协调规则，而端到端的多智能体学习方法则难以扩展和训练。本文提出了一种规划条件扩散策略（PCDP），通过将多个规划风格的演示作为训练数据，利用规划身份作为显式条件输入，使得单一模型能够学习多模态轨迹分布，并从相同观察中生成多样化、可控的轨迹候选。实验表明，PCDP在四智能体仿真设置下与经典和扩散基线相比，成功率相当，同时提升了最大代理旅行、团队总旅行和代理不平衡性。
🔬 方法详解
问题定义：本文旨在解决多智能体协调探索中的覆盖效率和冗余问题。现有方法往往依赖于手工设计的协调规则，难以适应复杂环境下的动态变化。
核心思路：提出的PCDP通过将多个规划风格的演示作为训练数据，利用规划身份作为条件输入，使得模型能够学习到多模态的轨迹分布，从而生成多样化且可控的轨迹候选。
技术框架：PCDP的整体架构包括数据收集、模型训练和轨迹生成三个主要模块。首先，从不同的规划器收集演示数据；其次，训练一个共享模型以学习多模态轨迹分布；最后，通过局部重排序实现代理间的协调。
关键创新：PCDP的主要创新在于引入规划条件的多模态学习，使得单一模型能够生成多样化的轨迹候选，而不是依赖于单一的规划器。这一设计显著提高了模型的行为多样性和推理时的可控性。
关键设计：在训练过程中，模型使用了多种损失函数以平衡轨迹生成的多样性和协调性。同时，局部重排序机制允许相邻代理共同选择重叠最小的轨迹组合，进一步提升了协调效果。具体的网络结构和参数设置在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，PCDP在四智能体仿真设置下与经典和扩散基线相比，成功率相当，同时在最大代理旅行、团队总旅行和代理不平衡性上均有显著提升。局部重排序机制的引入虽然带来边际增益，但主要的改进来自于规划条件的多模态性。
🎯 应用场景
该研究的潜在应用领域包括无人机编队、自动驾驶车辆和机器人协作等场景。在这些应用中，智能体需要在复杂环境中高效且协调地进行探索和任务执行。未来，该方法有望推动多智能体系统在动态环境中的应用，提升其自主性和效率。
📄 摘要（原文）
Coordinated multi-agent exploration requires not only efficient individual coverage but also non-redundant coverage across agents over extended planning horizons. Conventional approaches rely on hand-crafted coordination rules, while end-to-end multi-agent learning methods are difficult to scale and train. Diffusion-based planners such as DARE offer a promising alternative by generating long-horizon trajectories instead of single-step actions, but existing methods are trained on a narrow planner distribution, limiting behavioral diversity and inference-time controllability. We propose a Planner-Conditioned Diffusion Policy (PCDP) for graph-based multi-agent exploration. PCDP is trained on demonstrations from multiple planner styles with planner identity as an explicit conditioning input, enabling a single shared model to learn a multimodal trajectory distribution and generate diverse, controllable trajectory candidates from the same observation. Rather than learning coordination end-to-end, we reuse this multimodal single-agent policy across all agents and introduce coordination through local reranking, in which nearby agents jointly select the trajectory combination with minimal predicted overlap. We evaluate PCDP against classical and diffusion-based baselines on 100 held-out maps in a four-agent simulation setting. PCDP matches the perfect success rate of the diffusion-based baselines while improving mean max-agent travel, total team travel, and agent imbalance. Crucially, reranking alone over a single-planner baseline yields only marginal gains, indicating that planner-conditioned multimodality is the main contributor to improved coordination. Qualitative simulation results and real-robot experiments with two agents further validate that diverse long-horizon trajectory generation produces emergent spatial separation between agents without any explicit repulsion mechanism.