Learning Action Priors for Cross-embodiment Robot Manipulation
作者: Dong Jing, Tianqi Zhang, Jiaqi Liu, Jinman Zhao, Zelong Sun, Li Erran Li, Zhiwu Lu, Mingyu Ding
分类: cs.RO, cs.AI, cs.CV
发布日期: 2026-06-24
💡 一句话要点
提出预训练动作模块以解决跨体现机器人操控问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 动作模块 跨体现 预训练 流匹配 潜在蒸馏 机器人操控
📋 核心要点
- 现有的VLA模型在动作模块学习上几乎从零开始，导致缺乏有效的运动先验，影响优化效率。
- 本文提出的两阶段训练框架，首先通过无条件动作轨迹预训练动作模块，随后进行VLA对齐，显著提升了学习效率。
- 在13个跨体现任务的实验中，模型相比于传统方法实现了更快的收敛和更高的成功率，尤其在数据稀缺的实际任务中表现突出。
📝 摘要（中文）
大多数视觉-语言-动作（VLA）模型基于视觉-语言模型（VLM）骨干，通过附加动作模块并联合优化完整策略。然而，这种设计使得动作模块几乎从零开始学习物理运动，导致策略缺乏明确的运动先验。本文提出在跨模态VLA对齐之前，先用运动先验对动作模块进行预训练。我们引入了一个两阶段的训练框架，首先在第一阶段通过轻量级流匹配编码器-解码器动作模块，从无条件动作轨迹中高效学习时间运动结构。第二阶段通过解码器重用和早期潜在蒸馏，将学习到的先验转移到VLA训练中。实验表明，与没有动作先验的VLA训练相比，我们的方法在收敛速度、成功率和数据稀缺的实际任务上表现出显著提升。
🔬 方法详解
问题定义：本文旨在解决现有VLA模型中动作模块缺乏有效运动先验的问题，导致优化过程中的时间动态和跨模态对齐困难。
核心思路：通过在VLA训练之前，先对动作模块进行预训练，使其具备运动先验，从而提高后续的学习效率和效果。
技术框架：整体框架分为两个阶段：第一阶段是通过流匹配的编码器-解码器结构学习时间运动结构，第二阶段是将学习到的先验通过解码器重用和潜在蒸馏转移到VLA训练中。
关键创新：最重要的创新在于引入了预训练的动作模块，使得模型在进行跨模态对齐时，能够利用已有的运动先验，显著提升了学习效率。
关键设计：在第一阶段，采用轻量级的流匹配编码器-解码器结构，专注于无条件动作轨迹的学习；在第二阶段，通过解码器重用和潜在蒸馏技术，确保视觉-语言特征与动作嵌入空间的对齐，同时允许端到端的策略优化。
🖼️ 关键图片
📊 实验亮点
在13个跨体现任务的实验中，模型相比于没有动作先验的VLA训练实现了更快的收敛，成功率提升显著，尤其在数据稀缺的实际任务中，性能提升幅度达到XX%（具体数据未知）。
🎯 应用场景
该研究的潜在应用领域包括机器人操控、自动化生产线、智能家居等场景，能够提升机器人在复杂环境中的操作能力和适应性。未来，该方法可能推动跨模态学习和机器人智能化的进一步发展，促进人机协作的效率和安全性。
📄 摘要（原文）
Most Vision-Language-Action (VLA) models build on a Vision-Language Model (VLM) backbone by attaching an action module and optimizing the full policy jointly. This design inherits strong visual and linguistic priors from the VLM, but leaves the action module to learn physical motion almost from scratch. As a result, the policy lacks an explicit motion prior, forcing early optimization to simultaneously discover temporal action dynamics and cross-modal alignment, a challenge further amplified in cross-embodiment settings. In this work, we propose to pretrain the action module with motion priors before cross-modal VLA alignment. Specifically, we introduce a two-stage training framework that equips the action module with cross-embodiment temporal motion structure before VLA training begins. In Stage~1, a lightweight flow-matching-based encoder-decoder action module efficiently learns temporal motion structure solely from unconditioned action trajectories, without processing visual or language tokens. In Stage~2, this learned prior is transferred to VLA training through decoder reuse and early-stage latent distillation, aligning visual-language features with the action embedding space while still allowing end-to-end policy refinement. In addition, the trained encoder serves as a compact history compressor, summarizing state-action histories into a single temporal context token for history-aware modeling at negligible cost. Extensive experiments across 13 diverse cross-embodiment tasks on both simulated and real-world platforms validate the effectiveness of our approach. Compared with VLA training without action priors, our model achieves faster convergence, higher success rates, and substantially stronger performance on data-scarce real-world tasks. Moreover, scaling up the action data in Stage~1 yields a more generalizable action prior that directly improves downstream VLA performance.