Beyond Data Scaling: Representation-Centric Continued Pre-training for Vision-Language-Action Models

📄 arXiv: 2608.27550v1 📥 PDF

作者: Senqiao Yang, Chengyao Wang, Yuxin Chen, Zixuan Wang, Longxiang Tang, Haokun Gui, Jinhui Ye, Changsheng Lu, Xiaoyang Wu, Mingkang Zhu, Pengguang Chen, Shu Liu, Zhuotao Tian, Hengshuang Zhao, Bei Yu, Jiaya Jia

分类: cs.RO, cs.CV

发布日期: 2026-08-27

备注: All models and training pipelines are publicly available at https://starvla.github.io/VLAct

💡 一句话要点

提出VLAct以解决机器人数据稀缺问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 机器人数据 继续预训练 知识迁移 多头监督

📋 核心要点

  1. 现有的机器人数据扩展方法面临高成本和物理世界覆盖稀疏的问题，导致表示质量成为瓶颈。
  2. 本文提出VLAct，通过继续预训练将有限的机器人轨迹转化为可迁移的视觉-动作知识，提升模型的表示能力。
  3. 在多个基准测试中，VLAct在固定微调协议下显著提升了下游任务的性能，超越了多种工业VLA系统。

📝 摘要（中文）

在构建通用的视觉-语言-动作（VLA）模型时，扩展机器人数据至关重要。然而，由于机器人轨迹的收集成本高且物理世界覆盖稀疏，导致表示质量成为瓶颈。本文提出VLAct，一个面向VLA的视觉语言模型（VLM）骨干网络，利用广泛的异构多体现机器人数据进行继续预训练，旨在将有限的轨迹转化为可迁移的视觉-动作知识。VLAct通过VLM先验保留、多头连续动作共同监督和部分统一的跨体现动作布局，鼓励不同体现间的动作语义共享，同时在微调时允许任务特定的动作头。实验结果表明，VLAct在多个基准上超越了现有工业VLA系统，展示了在有限计算预算下的竞争力。

🔬 方法详解

问题定义：本文旨在解决在固定机器人数据预算下，如何将有限的机器人轨迹转化为可迁移的视觉-动作知识的问题。现有方法往往仅仅适应特定动作，缺乏广泛的表示能力。

核心思路：VLAct通过继续预训练，利用多样化的机器人数据，保留VLM先验并促进不同体现间的动作语义共享，从而提升模型的泛化能力。

技术框架：VLAct的整体架构包括三个主要模块：VLM先验保留模块、多头连续动作共同监督模块和部分统一的跨体现动作布局模块。预训练阶段使用广泛的异构数据，微调阶段则允许任务特定的动作头。

关键创新：VLAct的关键创新在于其表示中心的继续预训练方法，强调在有限数据条件下的知识迁移能力，与传统方法相比，能够更好地共享和利用不同体现间的动作语义。

关键设计：在设计上，VLAct采用了多头监督机制以增强动作表示的共享性，并通过部分统一的动作布局来提高模型的适应性，确保在微调时能够有效利用任务特定信息。具体的损失函数和网络结构细节在实验中进行了优化。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在LIBERO-Plus和RoboTwin 2.0基准测试中，VLAct的成功率分别达到82.6%和92.5%，超越了包括ABot-M0和LingBot-VLA在内的多种工业VLA系统。在RoboDojo中，VLAct在所有策略中成功率排名第六，并在所有指定的世界-动作模型（WAM）条目中表现优异，显示出其强大的性能。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动化任务执行和人机交互等。通过提升VLA模型的表示能力，VLAct能够在多种复杂环境中实现更高效的任务执行，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Scaling robot data is crucial for building generalist Vision-Language-Action (VLA) models, yet robot trajectories are harder to scale than web-scale image-text data because embodied collection is costly and sparsely covers the physical world. This makes representation quality a central bottleneck: under a fixed robot-data budget, continued pre-training must turn limited trajectories into transferable visual-action knowledge rather than merely fit actions. We propose VLAct, a VLA-oriented VLM backbone trained on broad, heterogeneous, multi-embodiment robot data before task-specific fine-tuning. VLAct preserves the broad VLM prior and encourages shared action semantics across embodiments through VLM-prior preservation, multi-head continuous action co-supervision, and a partially unified cross-embodiment action layout, while allowing task-specific action heads during fine-tuning. Across simulation, real-world, and unseen-embodiment transfer, VLAct consistently improves downstream performance under fixed fine-tuning protocols. On LIBERO-Plus and RoboTwin 2.0, VLAct surpasses industrial VLA systems including ABot-M0 and LingBot-VLA, achieving success rates of 82.6% and 92.5%. On RoboDojo, VLAct ranks sixth among all policies by success rate and outperforms all explicitly designated world-action model (WAM) entries on both metrics. Most notably, on RoboCasa-GR1, an unseen humanoid embodiment, VLAct using only 20% of downstream trajectories outperforms the full-data GR00T-N1.6 baseline. These results are obtained using fully open-source data and only a 16-GPU training setup, showing that representation-centric continued pre-training can deliver highly competitive performance under a modest compute budget and is an important independent axis of VLA progress beyond data scaling.