VLAFlow: A Unified Training Framework for Vision-Language-Action Models via Co-training and Future Latent Alignment

📄 arXiv: 2607.01586 📥 PDF

作者: Guoyang Xia, Fengfa Li, Hongjin Ji, Lei Ren, Fangxiang Feng, Kun Zhan, Yan Xie

分类: cs.CV, cs.AI, cs.RO

发布日期: 2026-07-05

💡 一句话要点

提出VLAFlow框架以统一比较视觉-语言-动作模型的训练效果

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作模型 机器人操作 数据预训练 流匹配框架 迁移学习 多模态学习 智能机器人

📋 核心要点

  1. 现有的视觉-语言-动作模型在不同的机器人数据预训练范式下，难以进行有效的比较，影响了研究的进展。
  2. VLAFlow框架通过统一的流匹配方法，允许在相同架构和数据条件下比较不同的训练目标，提升了研究的可控性。
  3. 实验结果显示，MindLWPI结合语言监督和未来潜在对齐，显著提高了模型在多个基准测试中的迁移性能，表现最为稳定。

📝 摘要（中文）

视觉-语言-动作模型（VLA）在机器人操作中取得了显著进展，但由于现有模型在架构、数据、动作空间和评估协议上的差异，导致不同机器人数据预训练范式的效果难以比较。本文提出了VLAFlow（视觉-语言-动作流），一个统一的流匹配框架，用于控制比较VLA训练目标。通过使用包含约5000小时数据的异构机器人语料库OXEMix，评估了四种预训练范式。实验结果表明，语言监督有助于保持视觉-语言的泛化能力，而未来潜在对齐则改善了状态转移和动作结果建模。结合这两种信号的MindLWPI在各基准测试中表现出最稳定的整体迁移性能。

🔬 方法详解

问题定义：本文旨在解决不同视觉-语言-动作模型在机器人数据预训练范式下的比较困难，现有方法在架构和数据上存在显著差异，导致评估结果不一致。

核心思路：提出VLAFlow框架，通过统一的流匹配方法，允许在相同的架构和数据条件下对不同的训练目标进行控制比较，从而提升模型的可迁移性和稳定性。

技术框架：VLAFlow框架包括四个主要模块：动作单一建模（MindPI）、语言监督共同训练（MindLPI）、未来潜在对齐（MindWPI）及其组合（MindLWPI），所有模块共享相同的VLM骨干网络和14维动作空间。

关键创新：VLAFlow的核心创新在于提出了一种元动作空间视角，认为语言和未来潜在表示提供了互补的中间约束，使得异构动作监督更加平滑和可迁移，这一观点与现有方法显著不同。

关键设计：在实验中，采用了统一的pi0风格架构，设置了共享的VLM骨干网络，并设计了适应不同训练目标的损失函数，确保了模型在多种数据源上的有效性。实验还表明，语言监督和未来潜在对齐的结合显著提升了模型的整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MindLWPI在LIBERO、LIBERO-Plus和SimplerEnv等基准测试中表现出最稳定的迁移性能，相较于单一动作建模方法，整体性能提升显著，验证了语言监督和未来潜在对齐的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化制造和人机交互等。通过提升视觉-语言-动作模型的训练效果，VLAFlow框架能够帮助机器人更好地理解和执行复杂任务，推动智能机器人技术的实际应用和发展。

📄 摘要（原文）

Vision-language-action models (VLAs) have recently advanced robotic manipulation, yet the effects of different robot-data pre-training paradigms remain difficult to compare because existing models often differ in architecture, data, action space, and evaluation protocol. We present VLAFlow (Vision-Language-Action Flow), a unified flow-matching framework for controlled comparison of VLA training objectives. Using a heterogeneous robot corpus, OXEMix, containing approximately 5,000 hours of data from DROID, OpenX-Embodiment, OpenX-Augmented, and RoboCOIN, we evaluate four paradigms under the same pi0-style architecture, shared VLM backbone, action expert, and 14-dimensional action space: action-only modeling (MindPI), language-supervised co-training (MindLPI), future latent alignment (MindWPI), and their combination (MindLWPI). Experiments on LIBERO, LIBERO-Plus, and SimplerEnv show that action-only pre-training is sensitive to heterogeneous data. In contrast, language supervision helps preserve vision-language generalization, while future latent alignment improves state-transition and action-outcome modeling. By combining both signals, MindLWPI achieves the most stable overall transfer performance across benchmarks. These results suggest a meta-action space view: language and future latent representations provide complementary intermediate constraints that make heterogeneous action supervision smoother and more transferable.