LabVLA: Grounding Vision-Language-Action Models in Scientific Laboratories
作者: Baochang Ren, Xinjie Liu, Xi Chen, Yanshuo Liu, Chenxi Li, Daqi Gao, Zeqin Su, Jintao Xing, Zirui Xue, Rui Li, Xiangyu Zhao, Shuofei Qiao, Minting Pan, Wangmeng Zuo, Lei Bai, Dongzhan Zhou, Ningyu Zhang, Huajun Chen
分类: cs.CL, cs.AI, cs.LG, cs.MM, cs.RO
发布日期: 2026-06-11
备注: Work in progress. Project website at https://zjunlp.github.io/LabVLA/
💡 一句话要点
提出LabVLA以解决科学实验中AI执行能力不足的问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 机器人执行 科学实验室 数据引擎 双阶段训练 自动化实验 智能实验室
📋 核心要点
- 现有的VLA模型主要基于家庭和桌面场景，无法有效应对科学实验室中的复杂工具和固定流程。
- 本文提出RoboGenesis数据引擎和LabVLA模型，通过模拟实验室工作流程和双阶段训练策略来提升机器人执行能力。
- 在LabUtopia基准测试中，LabVLA在分布内和分布外设置下均取得了最高的成功率，展示了其优越性。
📝 摘要（中文）
科学实验室越来越依赖AI系统进行实验推理，但实际操作仍需人类执行。现有的视觉-语言-动作（VLA）模型主要基于家庭和桌面演示，缺乏对实验室特定工具和流程的适应性。为此，本文提出了RoboGenesis数据引擎和LabVLA模型，通过模拟实验室工作流程和双阶段训练策略，显著提升了机器人在实验室环境中的执行能力。在LabUtopia基准测试中，LabVLA在各项评估基线中取得了最高的成功率。
🔬 方法详解
问题定义：本文旨在解决现有VLA模型在科学实验室环境中执行能力不足的问题。现有方法主要基于家庭和桌面场景，缺乏对实验室特定工具和透明液体的适应性。
核心思路：论文提出了RoboGenesis数据引擎和LabVLA模型，前者通过模拟实验室工作流程生成结构化演示，后者通过双阶段训练提升机器人对实验室任务的执行能力。
技术框架：整体架构包括两个主要模块：RoboGenesis用于生成和验证实验室工作流程，LabVLA模型则通过FAST动作标记预训练和流匹配后训练来实现动作意识和知识隔离。
关键创新：最重要的创新在于结合了实验室特定的监督学习和统一的学习框架，解决了数据和模型设计的瓶颈，显著提升了机器人在复杂实验室环境中的执行能力。
关键设计：在LabVLA的训练中，采用了Qwen3-VL-4B-Instruct作为基础模型，首先进行动作意识的预训练，然后通过流匹配后训练引入DiT动作专家，确保模型在执行时的准确性和灵活性。
🖼️ 关键图片
📊 实验亮点
在LabUtopia基准测试中，LabVLA在所有评估基线中取得了最高的平均成功率，展示了其在分布内和分布外设置下的优越性能，表明该模型在科学实验室环境中的有效性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括科学实验室的自动化、机器人辅助实验以及智能实验室管理。通过提升机器人在实验室环境中的执行能力，能够有效减少人力成本，提高实验效率，推动科学研究的进展。
📄 摘要（原文）
Scientific laboratories increasingly rely on AI systems to reason about experiments, but the physical act of doing science remains largely outside their reach. AI can help read literature, generate hypotheses, and plan protocols, yet the execution of those protocols at the bench still requires a human operator. Vision-Language-Action (VLA) models provide one possible interface between written protocols and robot execution, but existing policies are trained mostly on household and tabletop demonstrations and rarely encounter the instruments, transparent liquids, or fixed protocol workflows found in scientific laboratories. Closing this gap requires both laboratory-specific supervision and a unified learning framework that can accommodate the diverse robot embodiments used to execute experimental protocols. We therefore identify data and embodiment as central bottlenecks alongside model design. To address the data side, we build RoboGenesis, a simulation-based workflow and data engine that composes configured laboratory workflows from atomic skills, validates and filters rollouts, and exports structured demonstrations across supported robot profiles. On the policy side, we present LabVLA, trained with a two-stage recipe: FAST action token pretraining first makes the Qwen3-VL-4B-Instruct backbone action aware before any continuous control is learned, and flow matching posttraining then attaches a DiT action expert under knowledge insulation. On the LabUtopia benchmark, LabVLA achieves the highest average success rate among all evaluated baselines under both in-distribution and out-of-distribution settings.