Learning to Move Before Learning to Do: Task-Agnostic pretraining for VLAs

📄 arXiv: 2607.02466v1 📥 PDF

作者: Junhao Shi, Siyin Wang, Xiaopeng Yu, Li Ji, Jingjing Gong, Xipeng Qiu

分类: cs.RO, cs.AI

发布日期: 2026-07-02

备注: Accepted to ICML 2026, 21 pages,6 figures

💡 一句话要点

提出任务无关的预训练方法以解决VLA模型数据稀缺问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 任务无关预训练 自监督学习 运动先验 机器人控制

📋 核心要点

  1. 现有的VLA模型受到专家演示数据稀缺的限制，导致模型训练效率低下。
  2. 本文提出的任务无关预训练（TAP）方法，通过自监督学习从无标签数据中提取运动先验，降低了对专家数据的依赖。
  3. 在多个实验中，TAP在使用极少的标注数据的情况下，取得了显著的性能提升，展示了其在复杂环境中的鲁棒性。

📝 摘要（中文）

视觉-语言-动作（VLA）模型的性能受到专家演示数据稀缺的限制，专家演示数据包括观察、指令和动作的三元组，收集成本高。本文提出了任务无关的预训练（TAP）框架，分为两个阶段：第一阶段通过自监督的逆动力学目标，从廉价的无标签交互数据中学习可转移的运动先验；第二阶段则利用最少的专家数据将这些先验与语言进行结合。在SIMPLER基准上，TAP在使用远少于100万条专家轨迹的情况下，达到了与之相当的性能，并在真实的WidowX平台上表现出25%的成功率，显示出该方法在摄像头扰动下的鲁棒性。

🔬 方法详解

问题定义：本文旨在解决VLA模型在训练过程中对专家演示数据的依赖问题，现有方法在数据收集上成本高且效率低下。

核心思路：提出任务无关的预训练（TAP）框架，分为两个阶段，第一阶段从廉价的无标签交互数据中学习运动先验，第二阶段将这些先验与语言结合，减少对专家数据的需求。

技术框架：TAP框架包括两个主要阶段：第一阶段通过自监督的逆动力学目标学习运动先验，第二阶段通过最小的专家数据进行语言对接。

关键创新：TAP的创新在于将运动学习与语言学习分开，前者不需要语言监督，从而降低了对专家演示数据的依赖，提升了模型的可扩展性。

关键设计：在第一阶段，使用自监督学习方法来处理无标签的交互数据，设计了逆动力学损失函数；在第二阶段，采用轻量级的网络结构，将运动先验与语言信息结合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在SIMPLER基准测试中，TAP在使用远少于100万条专家轨迹的情况下，达到了与之相当的性能，且在真实的WidowX平台上，成功率达到了25%，而基于互联网的模型在摄像头扰动下的成功率降至0%。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、智能家居、自动驾驶等，能够在数据收集成本高的情况下，提升模型的学习效率和适应能力。未来，TAP方法有望推动更广泛的智能体在复杂环境中的应用，提升其自主学习和适应能力。

📄 摘要（原文）

Vision-Language-Action (VLA) models are fundamentally bottlenecked by the scarcity of expert demonstrations -- triplets of observations, instructions, and actions that are costly to collect at scale. We argue that this bottleneck stems from conflating two distinct learning objectives: acquiring physical competence (how to move) and acquiring semantic alignment (what to do). Crucially, only the latter requires language supervision. Building on this Decomposition Hypothesis, we propose Task-Agnostic Pretraining (TAP), a two-stage framework that first learns transferable motor priors from cheap, unlabeled interaction data -- including discarded off-task trajectories and autonomous robot play -- via a self-supervised Inverse Dynamics objective. A lightweight second stage then grounds these priors in language using minimal expert data. On the SIMPLER benchmark, TAP matches models trained on over 1M expert trajectories while using orders of magnitude less labeled data, yielding a 10% absolute gain over standard behavior cloning. On a real-world WidowX platform, TAP retains 25% success under camera perturbations where internet-scale baselines collapse to 0%, demonstrating that task-agnostic pretraining produces robust, transferable physical representations and offers a scalable path forward for Embodied AI.