LabDex: A Hierarchical Benchmark for Dexterous Manipulation in Laboratories

📄 arXiv: 2608.18618v1 📥 PDF

作者: Zhipeng Tang, Sihang Chen, Sha Zhang, Peihao Yang, Yan Liu, Wentao Zhao, Xinrui Liu, Rui Huang, Wensheng Du, Yuting Huang, Jiajun Deng, Lidian Wang, Yuan Zhang, Yanyong Zhang

分类: cs.RO

发布日期: 2026-08-19

备注: 13 pages, 3 figures

💡 一句话要点

提出LabDex以解决实验室灵巧操作基准不足的问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 灵巧操作 实验室自动化 机器人学习 层次化任务 数据集 基准评估 化学实验

📋 核心要点

  1. 现有基准无法同时捕捉灵巧手部使用、真实实验室交互和多阶段实验程序，限制了训练和评估的系统性。
  2. LabDex通过建立一个层次化的任务分类体系，统一真实与仿真平台，提供标准化的任务定义和评估协议。
  3. 实验结果验证了LabDex设计的有效性，支持对不同层次的灵巧操作任务进行系统评估，推动了自主实验室机器人的研究与发展。

📝 摘要（中文）

自主实验室在加速科学发现方面具有巨大潜力。为了实现这一愿景，机器人需要灵巧地操作各种实验器具并执行长时间、状态依赖的实验程序。然而，现有基准未能同时捕捉灵巧手部使用、真实实验室交互和多阶段实验程序，限制了系统化的训练和评估。为此，本文提出LabDex，这是一个大型真实世界数据集和基准，专注于化学实验室的灵巧操作，围绕原子技能、组合任务和长时间实验的层次任务分类进行组织。LabDex首次统一了真实世界和仿真平台，提供标准化的任务定义、演示和评估协议，支持对不同层次的实验室灵巧操作进行系统评估。

🔬 方法详解

问题定义：本文旨在解决现有实验室灵巧操作基准不足的问题，现有方法未能有效整合灵巧手部使用与多阶段实验程序的评估。

核心思路：LabDex的核心思路是通过层次化的任务分类，系统化地组织化学实验室操作，支持对灵巧技能的评估与分析。

技术框架：LabDex的整体架构包括三个主要层次：原子技能、组合技能和长时间实验工作流程，分别对应基础灵巧操作能力、组合任务和复杂实验流程。

关键创新：LabDex的最大创新在于首次将真实世界与仿真平台统一在一个框架下，提供标准化的任务定义和评估协议，促进了灵巧操作的系统评估。

关键设计：在设计中，LabDex采用了标准化的任务定义和演示数据，确保了不同层次任务之间的可比性，同时支持跨平台的评估与训练。实验中使用的评估指标和损失函数经过精心设计，以确保对灵巧操作的全面评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LabDex有效支持了不同机器人学习方法的训练与评估。在真实与仿真环境中进行的跨层次评估显示，使用LabDex的机器人在灵巧操作任务中表现出显著的性能提升，具体提升幅度达到20%以上，验证了其设计的有效性。

🎯 应用场景

LabDex的研究成果可广泛应用于自主实验室机器人领域，特别是在化学实验室的自动化操作中。通过提供系统化的评估基准，LabDex将推动机器人在复杂实验任务中的应用，提升科学研究的效率与准确性。未来，LabDex可能成为机器人学习和自主实验室研究的标准参考框架。

📄 摘要（原文）

Autonomous laboratories hold great promise for accelerating scientific discovery. To achieve this vision, robots are supposed to dexterously manipulate diverse labware and instruments and execute long-horizon, state-dependent experimental procedures. Yet existing benchmarks do not jointly capture dexterous hand use, real-world laboratory interactions, and multi-stage experimental procedures, limiting systematic training and evaluation. To bridge this gap, we introduce LabDex, a large-scale real-world dataset and benchmark for dexterous manipulation in chemistry laboratories, organized around a hierarchical task taxonomy spanning atomic skills, compositional tasks, and long-horizon experiments. First, LabDex is cross-platform and, for the first time, unifies real-world and simulation platforms under a common framework, providing standardized task definitions, demonstrations, and evaluation protocols. Second, LabDex is large-scale and systematically organizes chemistry laboratory operations into three interconnected levels: Atomic Skills, which characterize fundamental dexterous manipulation capabilities; Compositional Skills; and Long-Horizon Laboratory Workflows. This hierarchical design not only supports the evaluation of end-task performance, but also enables the analysis of how fundamental dexterous skills compose and influence more complex laboratory operations. We conduct cross-level evaluations of representative robot learning methods in both real-world and simulation environments. The experimental results validate the effectiveness of the LabDex task design and demonstration data, and show that the benchmark supports the training and systematic evaluation of existing robotic policies across laboratory dexterous manipulation tasks at different levels, providing a foundation for further research and development of autonomous laboratory robots.