LA4VLA: Learning to Act without Seeing via Language-Action Pretraining

📄 arXiv: 2606.27295v2 📥 PDF

作者: Tao Lin, Yuxin Du, Yiran Mao, Zewei Ye, Yilei Zhong, Bing Cheng, Yiming Wang, Jiting Liu, Yang Tian, Junchi Yan, Feiran Wu, Zenan Meng, Hu Wei, Yuqian Fu, Gen Li, Bo Zhao

分类: cs.RO

发布日期: 2026-06-25 (更新: 2026-06-26)

备注: Github: https://github.com/MINT-SJTU/LA4VLA

💡 一句话要点

提出LA4VLA框架以解决视觉-语言-动作模型的依赖问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 机器人学习 语言条件动作 预训练框架 操作技能学习

📋 核心要点

  1. 现有的VLA模型在训练中对视觉信号的依赖过强，导致策略对视觉变化敏感，难以有效利用语言信息。
  2. LA4VLA框架通过语言-动作预训练，使得策略在没有视觉输入的情况下学习语言条件的动作先验，增强了模型的泛化能力。
  3. 实验结果显示，LA4VLA-1B模型在模拟和现实任务中成功率分别提升了17.8和45.0个百分点，验证了该方法的有效性。

📝 摘要（中文）

视觉-语言-动作（VLA）模型通常通过联合映射视觉观察和语言指令到动作进行预训练。然而，密集的视觉-动作监督可能会主导相对稀疏的语言-动作信号，导致策略依赖视觉捷径，而非学习语言如何影响动作执行。为了解决这一限制，本文提出了LA4VLA框架，使策略能够在没有视觉观察的情况下获取语言条件的动作先验。这些先验捕捉了跨任务和场景可重用的操作技能，从而减少对特定场景视觉线索的依赖。通过将专家演示轨迹分解为原子动作片段，并将每个片段与相应的低级动作描述配对，生成了LA-33K数据集。实验表明，LA预训练的策略在模拟和现实任务中均优于匹配的VLA预训练策略，混合LA-VLA预训练进一步提升了性能。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作模型过度依赖视觉信号的问题，导致模型在面对视觉变化时表现不稳定。现有方法未能充分利用语言信息，造成策略的泛化能力不足。

核心思路：LA4VLA框架的核心思想是通过语言-动作预训练，使得策略能够在没有视觉输入的情况下学习动作先验。这种设计旨在减少对特定场景视觉线索的依赖，从而提高模型的适应性和鲁棒性。

技术框架：LA4VLA的整体架构包括三个主要模块：首先，将专家演示轨迹分解为原子动作片段；其次，为每个动作片段配对相应的低级动作描述；最后，利用生成的LA-33K数据集进行预训练。

关键创新：LA4VLA的主要创新在于提出了一种新的预训练策略，使得模型能够在缺乏视觉输入的情况下学习语言条件的动作先验。这一方法与传统的视觉-动作监督方法本质上不同，后者依赖于视觉信号进行训练。

关键设计：在模型设计中，LA4VLA-1B采用了轻量级的1B参数结构，并探索了三种语言-动作监督的整合方式：仅LA预训练、顺序LA到VLA预训练和混合LA-VLA预训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LA4VLA-1B模型在模拟任务中的成功率提升了17.8个百分点，在现实任务中提升了45.0个百分点，显著优于未进行预训练的基线模型。这表明混合LA-VLA预训练策略在提高模型性能方面具有显著效果。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化任务执行和人机交互等。通过减少对视觉信息的依赖，LA4VLA框架可以使机器人在复杂环境中更好地理解和执行语言指令，提升其自主性和灵活性。未来，该方法可能在智能家居、服务机器人等领域发挥重要作用。

📄 摘要（原文）

Vision-Language-Action (VLA) models are commonly pretrained on robot demonstrations by jointly mapping visual observations and language instructions to actions. However, dense visual-action supervision can dominate the comparatively sparse language-action signal. As a result, policies may rely on visual shortcuts rather than learn how language conditions action execution, making them sensitive to visual variations. To address this limitation, we propose LA4VLA, a language-action pretraining framework that enables policies to acquire language-conditioned action priors without visual observations. These priors capture reusable manipulation skills shared across tasks and scenes, reducing reliance on scene-specific visual cues. Specifically, LA4VLA decomposes expert demonstration trajectories into atomic action segments and pairs each segment with a corresponding low-level action description. This yields LA-33K, a dataset of 33K Language-Action (LA) episodes derived entirely from existing demonstrations without additional robot data collection. We further develop LA4VLA-1B, a lightweight 1B-parameter VLA model, and investigate three paradigms for incorporating language-action supervision into VLA learning: LA-only pretraining, sequential LA-to-VLA pretraining, and mixed LA-VLA pretraining. Across simulation and real-world tasks, LA-pretrained policies consistently outperform matched VLA-pretrained counterparts, while combining LA and VLA supervision leads to further gains. In particular, mixed LA-VLA pretraining improves the average success rate of LA4VLA-1B over the no-pretraining baseline by up to 17.8 and 45.0 percentage points in simulation and real-world tasks, respectively. These results establish LA4VLA as an effective and complementary pretraining strategy for building stronger and more robust VLA policies.