ProtoAct: Turning Wet-Lab Protocols into Embodied Robotic Actions

📄 arXiv: 2608.01690v1 📥 PDF

作者: Zhe Liu, Jiaming Gu, Zhaohui Du, Zhe Wang, Huanbo Jin, Quan Lu, Qi Wang, Ting Xiao, Minting Pan, Dongzhan Zhou

分类: cs.RO, cs.AI

发布日期: 2026-08-03

备注: 15 pages, 13 figures

💡 一句话要点

提出ProtoAct以解决生物实验室协议转化为机器人动作的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生物实验室协议 机器人动作执行 状态感知 协议解析 自动化实验室

📋 核心要点

  1. 现有生物实验室协议往往缺乏明确的操作步骤和上下文信息，导致机器人难以执行。
  2. ProtoAct通过结构化框架将生物协议转化为可执行的动作序列，提升了机器人执行的准确性和效率。
  3. 实验结果显示，ProtoAct在多个大型语言模型上表现良好，能够有效支持机器人在模拟和真实环境中的执行。

📝 摘要（中文）

生物实验室协议通常为训练有素的研究人员编写，常常隐含常规操作、状态依赖条件和上下文参数，使其难以转化为机器人可执行的动作。本文提出ProtoAct，一个结构化的协议基础框架，将自由形式的生物程序转化为状态感知、适合实体执行的动作序列。ProtoAct使用ProtoRAG检索手动注释的示例进行上下文敏感解析，采用RefineChecker检测和修正缺失或不一致的步骤，并应用ActSchema将精炼后的程序映射为受限的JSON函数序列。此外，我们手动注释了22个细胞培养协议，形成258个监控条件、910个可执行子任务和962个基础动作调用。评估表明ProtoAct可以有效地与不同的语言模型结合使用。

🔬 方法详解

问题定义：本文旨在解决生物实验室协议转化为机器人可执行动作的困难，现有方法往往忽略了操作的状态依赖性和上下文信息，导致机器人执行效率低下。

核心思路：ProtoAct通过引入结构化的协议基础框架，将自由形式的生物程序解析为状态感知的动作序列，确保机器人能够理解并执行复杂的实验步骤。

技术框架：ProtoAct的整体架构包括ProtoRAG、RefineChecker和ActSchema三个主要模块。ProtoRAG用于检索上下文相关的示例，RefineChecker负责检测和修正步骤的完整性，ActSchema则将精炼后的程序映射为JSON格式的函数序列。

关键创新：ProtoAct的创新之处在于其结合了检索、后期检查和模式约束的多层次解析方法，显著提高了协议转化的准确性和可执行性。

关键设计：在设计中，ProtoAct采用了手动注释的细胞培养协议，形成了258个监控条件和910个可执行子任务，确保了系统的实用性和灵活性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ProtoAct在七个大型语言模型上均表现出色，能够有效支持机器人在模拟和真实环境中的执行。通过对比基线，ProtoAct在协议解析的准确性和执行效率上均有显著提升，验证了其方法的有效性。

🎯 应用场景

ProtoAct的研究成果在生物医学、药物开发和实验室自动化等领域具有广泛的应用潜力。通过将复杂的实验室协议转化为机器人可执行的动作，能够提高实验效率，降低人为错误，并推动智能实验室的发展。

📄 摘要（原文）

Biological wet-lab protocols are written for trained researchers and often leave routine operations, state-dependent conditions, and contextual parameters implicit, making them difficult to translate into robot-executable actions. We present ProtoAct, a structured protocol-grounding framework that converts free-form biological procedures into state-aware, embodiment-ready action sequences. ProtoAct uses ProtoRAG to retrieve manually annotated examples for context-sensitive parsing, employs RefineChecker to detect and revise missing or inconsistent steps, and applies ActSchema to map the refined procedure into constrained JSON function sequences. We further introduce BioP2E, for which we manually annotate 22 cell-culture protocols into 258 monitoring conditions, 910 executable subtasks, and 962 grounded action calls. Evaluation across seven large language models demonstrates that ProtoAct can be effectively instantiated with different backbones. Ablations confirm that retrieval, posterior checking, and schema constraints make complementary contributions. The parsed subtasks further support demonstration collection and VLA model training, enabling successful execution in both simulation and real-robot settings. ProtoAct thus provides a practical interface between biological protocol understanding and embodied robotic execution.