LA4VLA: Learning to Act without Seeing via Language-Action Pretraining

📄 arXiv: 2606.27295v1 📥 PDF

作者: Tao Lin, Yuxin Du, Yiran Mao, Zewei Ye, Yilei Zhong, Bing Cheng, Yiming Wang, Jiting Liu, Yang Tian, Junchi Yan, Feiran Wu, Zenan Meng, Hu Wei, Yuqian Fu, Gen Li, Bo Zhao

分类: cs.RO

发布日期: 2026-06-25

备注: Github: https://github.com/MINT-SJTU/LA4VLA

💡 一句话要点

提出LA4VLA框架以解决视觉依赖问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 语言-动作预训练 机器人操作 模型泛化 深度学习

📋 核心要点

  1. 现有VLA模型在训练中对视觉信息的依赖过重，导致策略对视觉变化敏感，难以有效利用语言信息。
  2. LA4VLA框架通过语言-动作预训练，使得策略在没有视觉输入的情况下学习语言条件的动作先验，提升了模型的泛化能力。
  3. 实验结果显示，LA4VLA-1B模型在模拟和现实任务中，成功率分别提高了17.8和45.0个百分点，显著优于无预训练基线。

📝 摘要（中文）

视觉-语言-动作（VLA）模型通常通过将视觉观察与语言指令映射到动作上进行预训练。然而，密集的视觉-动作监督可能会主导相对稀疏的语言-动作信号，导致策略依赖视觉捷径而非学习语言如何影响动作执行。为了解决这一限制，本文提出了LA4VLA框架，使策略能够在没有视觉观察的情况下获取语言条件的动作先验。这些先验捕捉了跨任务和场景的可重用操作技能，减少了对场景特定视觉线索的依赖。通过将专家演示轨迹分解为原子动作段，并将每个段与相应的低级动作描述配对，生成了LA4-33K数据集。实验结果表明，LA预训练的策略在模拟和现实任务中均优于匹配的VLA预训练策略，混合LA-VLA预训练进一步提升了性能。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作模型对视觉信息的过度依赖，导致策略在面对视觉变化时表现不稳定的问题。现有方法在训练中往往依赖于密集的视觉-动作监督，忽视了语言的作用。

核心思路：LA4VLA框架的核心思想是通过语言-动作预训练，使得策略能够在没有视觉输入的情况下学习语言条件的动作先验。这种设计旨在减少对特定场景视觉线索的依赖，增强模型的泛化能力。

技术框架：LA4VLA的整体架构包括数据集构建、语言-动作预训练和VLA学习三个主要阶段。首先，通过将专家演示轨迹分解为原子动作段，并与低级动作描述配对，构建了LA4-33K数据集。然后，采用不同的预训练策略（如仅LA预训练、顺序LA到VLA预训练和混合预训练）来训练模型。

关键创新：LA4VLA的主要创新在于提出了一种新的语言-动作预训练方法，使得模型能够在没有视觉信息的情况下学习有效的操作技能。这与传统方法的视觉依赖形成了鲜明对比，提升了模型的鲁棒性。

关键设计：在模型设计上，LA4VLA-1B是一个轻量级的1B参数VLA模型，采用了多种预训练策略以优化学习过程。损失函数的设计考虑了语言与动作之间的对应关系，以确保模型能够有效地学习到语言条件的动作先验。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LA4VLA-1B模型在模拟任务中的成功率提高了17.8个百分点，在现实任务中提高了45.0个百分点，显著优于无预训练基线。这一成果验证了混合LA-VLA预训练策略的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和人机交互等场景。通过减少对视觉信息的依赖，LA4VLA框架能够提升机器人在复杂环境中的操作能力，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Vision-Language-Action (VLA) models are commonly pretrained on robot demonstrations by jointly mapping visual observations and language instructions to actions. However, dense visual-action supervision can dominate the comparatively sparse language-action signal. As a result, policies may rely on visual shortcuts rather than learn how language conditions action execution, making them sensitive to visual variations. To address this limitation, we propose LA4VLA, a language-action pretraining framework that enables policies to acquire language-conditioned action priors without visual observations. These priors capture reusable manipulation skills shared across tasks and scenes, reducing reliance on scene-specific visual cues. Specifically, LA4VLA decomposes expert demonstration trajectories into atomic action segments and pairs each segment with a corresponding low-level action description. This yields LA4-33K, a dataset of 33K Language-Action (LA) episodes derived entirely from existing demonstrations without additional robot data collection. We further develop LA4VLA-1B, a lightweight 1B-parameter VLA model, and investigate three paradigms for incorporating language-action supervision into VLA learning: LA-only pretraining, sequential LA-to-VLA pretraining, and mixed LA-VLA pretraining. Across simulation and real-world tasks, LA-pretrained policies consistently outperform matched VLA-pretrained counterparts, while combining LA and VLA supervision leads to further gains. In particular, mixed LA-VLA pretraining improves the average success rate of LA4VLA-1B over the no-pretraining baseline by up to 17.8 and 45.0 percentage points in simulation and real-world tasks, respectively. These results establish LA4VLA as an effective and complementary pretraining strategy for building stronger and more robust VLA policies.