Distilling Collaborative Dynamics into Latent Space for Implicit Coordination in Decentralized Multi-Agent Manipulation

📄 arXiv: 2606.22982v1 📥 PDF

作者: Chanyoung Park, Minsung Yoon, Andrew Jeong, Sung-eui Yoon

分类: cs.RO

发布日期: 2026-06-22

备注: Accepted to IROS 2026 | Project Page: https://cosdeneb.github.io/cls-dp/

💡 一句话要点

提出CLS-DP以解决多臂操控中的隐式协调问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱八：物理动画 (Physics-based Animation)

关键词: 多智能体系统 隐式协调 去中心化方法 潜在空间 机器人操控 蒸馏学习 部分可观测性 RoboFactory

📋 核心要点

  1. 现有集中式方法在多智能体操控中随着团队规模的增加而表现不佳，难以实现有效的协调。
  2. CLS-DP框架通过蒸馏多智能体动态到潜在空间，实现了在部分可观测环境下的隐式协调，避免了传统方法的局限。
  3. 在六个RoboFactory基准任务中，CLS-DP的平均成功率达到38%，显著优于其他基线，展示了其优越的参数效率。

📝 摘要（中文）

多臂操控需要精确的时空协调，但许多集中式方法在团队规模增加时表现不佳。为此，本文提出CLS-DP，一个去中心化的多智能体框架，能够在部分可观测的情况下实现隐式协调，而无需共享全局视图、显式状态信息或智能体间的通信。在集中训练与去中心化执行的框架下，CLS-DP将特权的多智能体动态蒸馏到潜在空间。在部署时，每个智能体根据其本地RGB观察和共享任务指令推断协作潜在变量，并在此基础上调节扩散去噪过程。实验结果表明，CLS-DP在六个RoboFactory基准任务中取得了38%的平均成功率，显著优于最佳集中基线（20%）和没有协作潜在变量的去中心化消融实验（9%）。

🔬 方法详解

问题定义：本文旨在解决多智能体操控中的隐式协调问题，现有集中式方法在团队规模增加时难以扩展，导致协调效率低下。

核心思路：CLS-DP框架通过将多智能体的动态信息蒸馏到潜在空间，使每个智能体在没有全局视图和通信的情况下，能够基于局部观察进行隐式协调。

技术框架：CLS-DP采用集中训练与去中心化执行（CTDE）模式，主要包括潜在空间的构建、局部观察的处理和扩散去噪过程的调节三个模块。

关键创新：CLS-DP的核心创新在于通过潜在空间有效编码协作动态，使得智能体能够在部分可观测环境中实现高效的隐式协调，这与传统方法的显式通信和全局视图要求形成鲜明对比。

关键设计：在设计中，CLS-DP使用了特定的损失函数来优化潜在空间的学习，同时采用了高效的网络结构以确保在不同智能体配置下的参数效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CLS-DP在六个RoboFactory基准任务中取得了38%的平均成功率，显著高于最佳集中基线的20%和去中心化消融实验的9%。该框架在所有智能体配置中保持了优越的参数效率，展示了其在多智能体操控中的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在需要多智能体协作的领域，如自动化制造、无人机编队和机器人救援等。通过实现隐式协调，CLS-DP能够提高多智能体系统在复杂环境中的操作效率，推动相关技术的实际应用和发展。

📄 摘要（原文）

Multi-arm manipulation demands precise spatiotemporal coordination, yet many centralized approaches scale poorly as team size increases. To address this, we propose CLS-DP, a decentralized multi-agent framework that enables implicit coordination under partial observability without shared global views, explicit state information, or inter-agent communication. Under the centralized training and decentralized execution (CTDE) paradigm, CLS-DP distills privileged multi-agent dynamics into a latent space. At deployment, each agent infers a collaborative latent from its local RGB observation and a shared task instruction; it then conditions the diffusion denoising process on this latent. This design enables implicit coordination with a per-agent cost independent of team size. Across six RoboFactory benchmark tasks spanning two to four agents, CLS-DP achieves a 38% mean success rate, outperforming the best centralized baseline (20%) and a decentralized ablation without the collaborative latent (9%). It also maintains superior parameter efficiency across all agent configurations. Attribution maps show that an agent conditioned on the collaborative latent places high attribution on the joints and grippers of both itself and its teammates throughout execution. This suggests that the learned latent efficiently encodes collaborative dynamics from local observation, which facilitates implicit coordination in realistic settings characterized by partial observability.