LabOSBench: Benchmarking Computer Use Agents for Scientific Instrument Control
作者: Anqi Zou, Han Deng, Chengyu Zhang, Junquan Hu, Yu Wang, Yuxiang Xing, Aokai Zhang, Hanling Zhang, Zhaoyang Liu, Ben Fei, Zhihui Wang, Wanli Ouyang
分类: cs.AI
发布日期: 2026-06-15
💡 一句话要点
提出LabOSBench以解决科学仪器控制的基准测试问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 科学仪器控制 基准测试 多模态代理 Web模拟器 反馈驱动操作 长时间工作流 计算机使用代理
📋 核心要点
- 现有的计算机使用基准测试主要集中在虚拟化环境中的软件操作，无法满足科学仪器控制的复杂需求。
- LabOSBench通过构建基于Web的科学仪器模拟器，提供了一个安全且可扩展的测试平台，支持多模态GUI代理的评估。
- 实验结果显示，尽管现有代理在结构化任务上表现良好，但在反馈驱动操作和长时间工作流执行方面仍存在显著不足。
📝 摘要（中文）
当前的计算机使用基准主要集中在虚拟化系统中的软件操作任务，而科学仪器场景需要对复杂接口的协调控制和反馈驱动的参数调整。然而，直接在物理高精度仪器上评估代理是不可行的，原因包括高成本、安全风险、有限的可及性和确保可重复评估的困难。因此，迫切需要一个模拟但真实的测试平台，能够保留科学仪器的操作挑战，同时实现可扩展和安全的基准测试。为此，我们提出了LabOSBench，这是一个针对多模态GUI代理的挑战性基准，基于一套基于Web的科学仪器模拟器构建。LabOSBench通过浏览器直接操作，避免了资源密集型的操作系统虚拟化，同时支持灵活的任务配置和执行评估。具体而言，LabOSBench构建了96个子任务，涵盖从样本加载、对准、参数调节到数据采集和结果检查的工作流程。我们的实验表明，尽管现有代理能够完成许多结构化的GUI子任务，但在反馈驱动操作和长时间工作流执行方面仍然存在困难。总体而言，LabOSBench为推动计算机使用代理在科学仪器控制方面的进展提供了一个可重复、低成本的测试平台。
🔬 方法详解
问题定义：论文旨在解决科学仪器控制中的基准测试问题，现有方法在高成本和安全风险下难以直接评估代理性能。
核心思路：通过构建LabOSBench，一个基于Web的模拟平台，提供可重复且低成本的测试环境，以评估多模态GUI代理在科学仪器控制中的表现。
技术框架：LabOSBench包含96个子任务，涵盖样本加载、对准、参数调节、数据采集和结果检查等多个阶段，支持灵活的任务配置和执行评估。
关键创新：LabOSBench的创新在于其模拟环境的设计，避免了传统虚拟化的资源消耗，同时保留了科学仪器操作的复杂性。
关键设计：在设计中，LabOSBench采用了多模态输入，支持视觉和语言模型的结合，确保任务执行的灵活性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，现有的通用视觉-语言模型和专用GUI代理模型在完成结构化子任务方面表现良好，但在反馈驱动操作和长时间工作流执行中仍显不足，显示出LabOSBench在评估代理性能方面的重要性。
🎯 应用场景
LabOSBench的研究成果可广泛应用于科学研究、教育培训和工业自动化等领域。通过提供一个安全、可扩展的测试平台，研究人员和开发者可以更有效地评估和优化计算机使用代理在科学仪器控制中的应用，推动相关技术的发展与创新。
📄 摘要（原文）
Current computer-use benchmarks primarily focus on software operation tasks in virtualized systems, whereas scientific instrumentation scenarios require coordinated control over complex interfaces, and feedback-driven parameter adjustment. However, directly evaluating agents on physical high-precision instruments is impractical due to high cost, safety risks, limited accessibility, and difficulty in ensuring reproducible evaluation. This motivates the need for a simulated yet realistic testbed that preserves the operational challenges of scientific instruments while enabling scalable and safe benchmarking. To this end, we introduce LabOSBench, a challenging benchmark for multimodal GUI agents built on a suite of web-based scientific-instrument simulators. Operating directly via a browser, LabOSBench avoids resource-heavy OS virtualization while supporting flexible task configuration and execution-based evaluation. Specifically, LabOSBench constructs 96 subtasks across eight instrument simulators, covering workflows from sample loading, alignment, parameter tuning, and data acquisition to result inspection. We evaluate general-purpose vision-language models, specialized GUI agent models, and advanced agentic frameworks at both subtask and end-to-end levels. Our experiments reveal that while existing agents can complete many structured GUI subtasks, they still struggle with feedback-driven operations and long-horizon workflow execution. Overall, LabOSBench provides a reproducible, low-cost testbed for advancing computer-using agents toward scientific-instrument control.