DyPES-VLA: Learning Shared Dynamics Priors and Embodiment-Specific Control for Cross-Embodiment Manipulation

📄 arXiv: 2608.06374v1 📥 PDF

作者: Junfeng Li, Junjie He, Zhide Zhong, Yangyang Zheng, Pingyue Sheng, Jiayu Dong, Ruixin Li, Haodong Yan, Jiaguan Zhu, Tianran Zhang, Runze Yu, Wen Chen, Liuqing Yang, Yuxiang Gao, Haoang Li

分类: cs.RO

发布日期: 2026-08-06

💡 一句话要点

提出DyPES-VLA以解决跨机器人形态操控问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 跨形态操控 动态先验 混合专家 机器人技术 智能控制 多模态学习

📋 核心要点

  1. 现有的VLA模型在异构机器人形态的操控上存在共享动态先验利用不足和手动预处理需求高的问题。
  2. DyPES-VLA通过学习共享动态先验和形态特定控制，解决了跨形态操控的挑战，简化了动作转换过程。
  3. 实验结果表明，DyPES-VLA在LIBERO、RoboCasa-GR1和RoboTwin 2.0上分别达到了98.0%、59.25%和89.02%的成功率，表现优异。

📝 摘要（中文）

视觉-语言-动作（VLA）模型已成为机器人操控的强大范式，但为异构机器人形态训练单一通用策略仍然是一个未解决的问题。现有方法存在两大主要局限：一是未充分利用跨多样视觉和交互数据的共享动态先验，限制了跨形态迁移；二是需要大量手动预处理将形态特定的动作转换为通用格式。为克服这些局限，本文提出了DyPES-VLA，一个学习共享动态先验和形态特定控制的跨形态VLA。通过在跨形态数据上以未来预测为目标训练视觉-语言模型（VLM），我们学习共享动态先验，并利用混合专家（MoE）动作头将这些先验直接转换为每个形态的可执行控制。作为通用策略，DyPES-VLA在模拟和现实世界评估中达到了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决异构机器人形态操控中，现有方法在共享动态先验利用和动作格式转换上的不足。

核心思路：通过在跨形态数据上训练视觉-语言模型（VLM），学习共享动态先验，并利用混合专家（MoE）动作头实现形态特定的控制。

技术框架：整体架构包括共享动态先验学习模块和形态特定的MoE动作头。前者通过未来预测目标训练VLM，后者将共享先验转换为各形态的可执行控制。

关键创新：DyPES-VLA的核心创新在于同时学习共享动态先验和形态特定控制，避免了手动预处理的需求，提升了跨形态操控的灵活性。

关键设计：在设计中，采用了共享注意力层以捕捉共同的时间动作结构，同时形态特定的前馈专家解决了不同形态的运动约束和控制语义。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DyPES-VLA在多个基准测试中表现出色，LIBERO上成功率达到98.0%，RoboCasa-GR1为59.25%，RoboTwin 2.0为89.02%。这些结果显著优于现有方法，展示了其在跨形态操控中的有效性。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过实现跨形态操控，DyPES-VLA能够提高机器人在多样环境中的适应能力，推动智能机器人技术的实际应用和发展。

📄 摘要（原文）

Vision-Language-Action (VLA) models have become a powerful paradigm for robot manipulation, but training a single generalist policy for heterogeneous robot embodiments remains an open problem. Existing methods have two main limitations. First, they underuse dynamics priors shared across diverse visual and interaction data, limiting cross-embodiment transfer. Second, they require extensive manual preprocessing to convert embodiment-specific actions into a common format. To overcome these limitations, we propose DyPES-VLA, a cross-embodiment VLA that learns shared Dynamics Priors and Embodiment-Specific control. First, we learn shared dynamics priors by training the vision-language model (VLM) with a future-prediction objective on cross-embodiment data, driving the shared query representation to capture object motion, contact, and interaction-induced scene changes. Second, an embodiment-specific Mixture-of-Experts (MoE) action head translates these shared dynamics priors into executable controls directly in each embodiment's native action space, without manually pre-aligning heterogeneous actions into a common format. This head shares attention layers to capture common temporal action structures, while its embodiment-specific feed-forward experts resolve the unique kinematic constraints and control semantics of distinct embodiments. As a generalist policy, our \ourmethod achieves state-of-the-art performance across simulation and real-world evaluations, reaching 98.0% success on LIBERO, 59.25% on RoboCasa-GR1, and 89.02% on RoboTwin~2.0.