Distilling Collaborative Dynamics into Latent Space for Implicit Coordination in Decentralized Multi-Agent Manipulation

📄 arXiv: 2606.22982 📥 PDF

作者: Chanyoung Park, Minsung Yoon, Andrew Jeong, Sung-eui Yoon

分类: cs.RO

发布日期: 2026-07-05

💡 一句话要点

提出CLS-DP以解决多臂操控中的隐式协调问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱八：物理动画 (Physics-based Animation)

关键词: 多智能体操控 隐式协调 去中心化框架 潜在空间 RoboFactory基准 集中训练 扩散去噪 局部观察

📋 核心要点

  1. 现有集中式方法在多智能体操控中随着团队规模的增加，协调效率显著下降，难以满足实际应用需求。
  2. CLS-DP框架通过在部分可观测环境中实现隐式协调，避免了对全局视图和智能体间通信的依赖，提升了系统的灵活性和可扩展性。
  3. 在六个RoboFactory基准任务中，CLS-DP的平均成功率为38%，显著高于集中式基线和去中心化消融实验，展示了其优越的性能和参数效率。

📝 摘要（中文）

多臂操控需要精确的时空协调，但许多集中式方法在团队规模增加时表现不佳。为此，本文提出了CLS-DP，一个去中心化的多智能体框架，能够在部分可观测的情况下实现隐式协调，而无需共享全局视图、显式状态信息或智能体间通信。在集中训练与去中心化执行的框架下，CLS-DP将特权的多智能体动态蒸馏到潜在空间中。在部署时，每个智能体从其本地RGB观察和共享任务指令中推断出协作潜在，并在此基础上调节扩散去噪过程。该设计使得每个智能体的成本与团队规模无关。CLS-DP在六个RoboFactory基准任务中表现优异，平均成功率达到38%，超越了最佳集中式基线（20%）和没有协作潜在的去中心化消融实验（9%）。

🔬 方法详解

问题定义：本文旨在解决多智能体操控中的隐式协调问题，现有集中式方法在团队规模增加时效率低下，难以适应复杂的操作环境。

核心思路：CLS-DP通过在部分可观测环境中蒸馏多智能体动态到潜在空间，实现智能体间的隐式协调，避免了对全局信息的依赖。

技术框架：CLS-DP采用集中训练与去中心化执行（CTDE）模式，主要包括潜在空间的构建、局部观察的处理和扩散去噪过程的调节三个模块。

关键创新：CLS-DP的核心创新在于通过局部RGB观察和共享任务指令推断协作潜在，从而实现智能体间的隐式协调，这与传统方法依赖全局信息的方式本质上不同。

关键设计：在CLS-DP中，设计了高效的损失函数和网络结构，以确保潜在空间能够有效编码协作动态，同时保持每个智能体的计算成本与团队规模无关。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CLS-DP在六个RoboFactory基准任务中取得了38%的平均成功率，显著高于最佳集中式基线的20%和去中心化消融实验的9%。该框架在所有智能体配置中保持了优越的参数效率，展示了其在多智能体操控中的强大能力。

🎯 应用场景

该研究的潜在应用领域包括工业机器人协作、无人机编队、智能物流等多智能体系统。通过实现隐式协调，CLS-DP能够在复杂和动态的环境中提升多智能体操作的效率和灵活性，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Multi-arm manipulation demands precise spatiotemporal coordination, yet many centralized approaches scale poorly as team size increases. To address this, we propose CLS-DP, a decentralized multi-agent framework that enables implicit coordination under partial observability without shared global views, explicit state information, or inter-agent communication. Under the centralized training and decentralized execution (CTDE) paradigm, CLS-DP distills privileged multi-agent dynamics into a latent space. At deployment, each agent infers a collaborative latent from its local RGB observation and a shared task instruction; it then conditions the diffusion denoising process on this latent. This design enables implicit coordination with a per-agent cost independent of team size. Across six RoboFactory benchmark tasks spanning two to four agents, CLS-DP achieves a 38% mean success rate, outperforming the best centralized baseline (20%) and a decentralized ablation without the collaborative latent (9%). It also maintains superior parameter efficiency across all agent configurations. Attribution maps show that an agent conditioned on the collaborative latent places high attribution on the joints and grippers of both itself and its teammates throughout execution. This suggests that the learned latent efficiently encodes collaborative dynamics from local observation, which facilitates implicit coordination in realistic settings characterized by partial observability.