Learning to Move Before Learning to Do: Task-Agnostic pretraining for VLAs

📄 arXiv: 2607.02466 📥 PDF

作者: Junhao Shi, Siyin Wang, Xiaopeng Yu, Li Ji, Jingjing Gong, Xipeng Qiu

分类: cs.RO, cs.AI

发布日期: 2026-07-05

💡 一句话要点

提出任务无关的预训练方法以解决VLA模型的专家演示稀缺问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 任务无关预训练 自监督学习 运动先验 具身AI

📋 核心要点

  1. 现有的VLA模型受到专家演示稀缺的限制，导致其在复杂任务中的表现不佳。
  2. 本文提出的任务无关预训练（TAP）框架，通过自监督学习从无标签数据中获取运动先验，降低了对专家数据的依赖。
  3. 实验结果表明，TAP在SIMPLER基准上与使用100万条专家轨迹的模型性能相当，且在真实环境中表现出更强的鲁棒性。

📝 摘要（中文）

视觉-语言-动作（VLA）模型的性能受到专家演示稀缺的制约，这些演示包括观察、指令和动作的三元组，收集成本高。本文认为这一瓶颈源于将获取物理能力（如何移动）与获取语义对齐（做什么）这两个学习目标混淆。基于这一分解假设，提出了任务无关的预训练（TAP）框架，分为两个阶段：第一阶段通过自监督的逆动力学目标，从廉价的无标签交互数据中学习可转移的运动先验；第二阶段则利用最少的专家数据将这些先验与语言对接。在SIMPLER基准上，TAP在使用远少于100万条专家轨迹的情况下，达到了与后者相当的性能，并在真实的WidowX平台上，在相机扰动下保持了25%的成功率，显示出任务无关的预训练能够产生稳健的、可转移的物理表示，为具身AI提供了可扩展的前进路径。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作（VLA）模型在专家演示稀缺情况下的学习瓶颈。现有方法依赖大量的专家数据，难以扩展。

核心思路：提出任务无关的预训练（TAP）框架，分为两个阶段：首先从廉价的无标签交互数据中学习运动先验，然后通过最少的专家数据将这些先验与语言对接。

技术框架：TAP框架包含两个主要阶段：第一阶段使用自监督的逆动力学目标从无标签数据中学习运动先验，第二阶段则是将这些先验与语言进行对接，形成完整的VLA模型。

关键创新：最重要的创新在于将物理能力学习与语义对齐学习分开，前者不需要语言监督，从而显著降低了对专家数据的需求。

关键设计：在第一阶段，采用逆动力学目标作为损失函数，通过无标签的交互数据进行训练；在第二阶段，使用最少的专家数据进行微调，以实现语言与运动先验的对接。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TAP在SIMPLER基准上与使用超过100万条专家轨迹的模型性能相当，且在真实的WidowX平台上，在相机扰动下成功率达到25%，而互联网规模的基线模型则降至0%。

🎯 应用场景

该研究的潜在应用场景包括机器人控制、自动驾驶、智能家居等领域。通过降低对专家演示的依赖，TAP方法能够在更广泛的环境中实现高效的学习与适应，推动具身AI的发展。

📄 摘要（原文）

Vision-Language-Action (VLA) models are fundamentally bottlenecked by the scarcity of expert demonstrations -- triplets of observations, instructions, and actions that are costly to collect at scale. We argue that this bottleneck stems from conflating two distinct learning objectives: acquiring physical competence (how to move) and acquiring semantic alignment (what to do). Crucially, only the latter requires language supervision. Building on this Decomposition Hypothesis, we propose Task-Agnostic Pretraining (TAP), a two-stage framework that first learns transferable motor priors from cheap, unlabeled interaction data -- including discarded off-task trajectories and autonomous robot play -- via a self-supervised Inverse Dynamics objective. A lightweight second stage then grounds these priors in language using minimal expert data. On the SIMPLER benchmark, TAP matches models trained on over 1M expert trajectories while using orders of magnitude less labeled data, yielding a 10% absolute gain over standard behavior cloning. On a real-world WidowX platform, TAP retains 25% success under camera perturbations where internet-scale baselines collapse to 0%, demonstrating that task-agnostic pretraining produces robust, transferable physical representations and offers a scalable path forward for Embodied AI.