LabVLA: Grounding Vision-Language-Action Models in Scientific Laboratories
作者: Baochang Ren, Xinjie Liu, Xi Chen, Yanshuo Liu, Chenxi Li, Daqi Gao, Zeqin Su, Jintao Xing, Zirui Xue, Rui Li, Xiangyu Zhao, Shuofei Qiao, Minting Pan, Wangmeng Zuo, Lei Bai, Dongzhan Zhou, Ningyu Zhang, Huajun Chen
分类: cs.CL, cs.AI, cs.LG, cs.MM, cs.RO
发布日期: 2026-06-12
💡 一句话要点
提出LabVLA以解决科学实验中AI执行能力不足的问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 科学实验 机器人执行 数据引擎 统一学习框架 实验室特定 自动化研究 深度学习
📋 核心要点
- 现有的视觉-语言-动作模型在科学实验室的应用中面临数据和执行能力不足的挑战，无法有效处理实验室特定的工具和流程。
- 本文提出RoboGenesis数据引擎和LabVLA模型，通过模拟实验室工作流程和两阶段训练策略，提升了AI在科学实验中的执行能力。
- 在LabUtopia基准测试中，LabVLA模型在分布内和分布外设置下均取得了最高的平均成功率，显示出其优越的性能。
📝 摘要（中文）
科学实验室越来越依赖AI系统进行实验推理，但实际执行科学实验的过程仍然主要依赖人类操作。现有的视觉-语言-动作（VLA）模型多基于家庭和桌面演示训练，缺乏对实验室特定工具和流程的适应性。为此，本文提出了RoboGenesis数据引擎和LabVLA模型，旨在通过统一学习框架和实验室特定监督来缩小这一差距。LabVLA在LabUtopia基准测试中，在各类评估基线中取得了最高的成功率，展示了其在科学实验中的应用潜力。
🔬 方法详解
问题定义：本文旨在解决现有视觉-语言-动作模型在科学实验室中执行能力不足的问题。现有方法主要基于家庭和桌面环境，缺乏对实验室特定工具和透明液体的适应性，导致模型无法有效执行实验协议。
核心思路：论文提出了RoboGenesis数据引擎和LabVLA模型，前者通过模拟实验室工作流程生成结构化演示，后者则采用两阶段训练策略，使模型在执行实验时具备更强的动作意识和控制能力。
技术框架：整体架构包括两个主要模块：RoboGenesis用于数据生成和验证，LabVLA则通过FAST动作标记预训练和流匹配后训练来提升模型性能。
关键创新：最重要的创新在于结合了实验室特定的数据生成和统一的学习框架，使得模型能够适应多种机器人执行实验协议的需求。这与现有方法的局限性形成鲜明对比。
关键设计：在模型设计中，采用了Qwen3-VL-4B-Instruct作为基础，通过动作标记预训练和知识隔离的DiT动作专家进行后续训练，确保模型在执行时的高效性和准确性。具体的损失函数和参数设置在实验中经过优化，以提升模型的整体表现。
🖼️ 关键图片
📊 实验亮点
在LabUtopia基准测试中，LabVLA模型在所有评估基线中取得了最高的平均成功率，显示出其在实验室环境中的优越性能。具体而言，模型在分布内和分布外设置下均表现出色，验证了其在复杂实验任务中的有效性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括科学研究、自动化实验室和机器人操作等。通过提升AI在实验室中的执行能力，能够加速科学发现的进程，减少人力成本，并提高实验的准确性和效率。未来，该技术有望在更多领域实现广泛应用，推动科学研究的自动化进程。
📄 摘要（原文）
Scientific laboratories increasingly rely on AI systems to reason about experiments, but the physical act of doing science remains largely outside their reach. AI can help read literature, generate hypotheses, and plan protocols, yet the execution of those protocols at the bench still requires a human operator. Vision-Language-Action (VLA) models provide one possible interface between written protocols and robot execution, but existing policies are trained mostly on household and tabletop demonstrations and rarely encounter the instruments, transparent liquids, or fixed protocol workflows found in scientific laboratories. Closing this gap requires both laboratory-specific supervision and a unified learning framework that can accommodate the diverse robot embodiments used to execute experimental protocols. We therefore identify data and embodiment as central bottlenecks alongside model design. To address the data side, we build RoboGenesis, a simulation-based workflow and data engine that composes configured laboratory workflows from atomic skills, validates and filters rollouts, and exports structured demonstrations across supported robot profiles. On the policy side, we present LabVLA, trained with a two-stage recipe: FAST action token pretraining first makes the Qwen3-VL-4B-Instruct backbone action aware before any continuous control is learned, and flow matching posttraining then attaches a DiT action expert under knowledge insulation. On the LabUtopia benchmark, LabVLA achieves the highest average success rate among all evaluated baselines under both in-distribution and out-of-distribution settings.