OmegaUse-SOP: SOP Engineering for Professional Computer Use from Human Demonstrations

📄 arXiv: 2609.02149v1 📥 PDF

作者: Yixiong Xiao, Lang An, Hucheng Yang, Pinxue Ma, Yongquan Chen, Jingjia Cao, Yusai Zhao, Ting Wang, Ting Liu, Siqi Bao, Jingbo Zhou, Hua Wu

分类: cs.HC, cs.AI

发布日期: 2026-09-02

DOI: 10.21203/rs.3.rs-10741604/v1

💡 一句话要点

提出OmegaUse-SOP以解决专业计算机使用中的SOP工程问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 标准操作程序 图形用户界面 人机协作 领域特定知识 技能转化

📋 核心要点

  1. 现有方法在处理专业领域的SOP时面临隐性领域知识和软件特定约定的挑战，导致GUI智能体的应用受限。
  2. OmegaUse-SOP通过人机协作的方式，将人类演示转化为可重用的GUI智能体技能，提升了专业SOP的执行能力。
  3. 与电力行业客户的合作实验表明，OmegaUse-SOP在光伏模拟工作流中显著提高了GUI智能体的可靠性。

📝 摘要（中文）

大型语言模型（LLMs）正逐渐从对话助手演变为能够操作外部数字环境的智能体。图形用户界面（GUI）智能体在这一转变中扮演着重要角色，但专业标准操作程序（SOP）的领域特定挑战仍然存在。本文介绍了OmegaUse-SOP，一个人机协作的SOP工程系统，旨在将人类演示的专业计算机使用转化为可重用的GUI智能体技能。OmegaUse-SOP由观察、推理、配置和执行四个模块组成，能够记录专家操作、抽象低级事件、整合领域规则并在实时GUI环境中执行技能。通过与电力行业客户的合作，测试结果表明，OmegaUse-SOP能显著提高GUI智能体在专业SOP任务中的可靠性。

🔬 方法详解

问题定义：本文旨在解决专业计算机使用中的SOP工程问题，现有方法在处理领域特定的SOP时，常常缺乏必要的隐性知识和软件特定的约定，导致GUI智能体的表现不佳。

核心思路：OmegaUse-SOP通过人机协作的方式，将人类专家的操作演示转化为可重用的技能，类似于提示工程（prompt engineering），通过迭代优化演示、执行规则和领域知识来实现。

技术框架：OmegaUse-SOP由四个主要模块组成：观察（Observe）、推理（Reason）、配置（Configure）和执行（Execute）。这些模块分别负责记录专家操作、抽象低级事件、整合领域规则和在实时GUI环境中执行技能。

关键创新：OmegaUse-SOP的创新在于其人机协作的SOP工程方法，能够将复杂的专业知识转化为可供GUI智能体使用的技能，显著提升了智能体在特定领域的应用能力。

关键设计：系统通过多模态GUI痕迹记录专家操作，使用语义步骤指令抽象低级事件，并结合领域规则和任务特定参数，确保在执行过程中能够进行逐步验证和动作生成。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在与电力行业客户的合作实验中，OmegaUse-SOP在光伏模拟工作流中显著提高了GUI智能体的可靠性，具体性能提升幅度未知，表明其在专业SOP任务中的有效性和实用性。

🎯 应用场景

OmegaUse-SOP的潜在应用领域包括电力、医疗、金融等专业领域，能够帮助企业提高工作效率和准确性。通过将复杂的操作流程转化为可重用的智能体技能，未来可能推动更多行业的数字化转型和自动化进程。

📄 摘要（原文）

Large language models (LLMs) are increasingly evolving from conversational assistants into agents capable of operating external digital environments. Graphical user interface (GUI) agents play an important role in this transition, as many real-world workflows remain accessible only through user-facing software interfaces. However, despite recent progress on general computer-use benchmarks, domain-specific professional standard operating procedures (SOPs) remain challenging for GUI agents because they often involve implicit domain knowledge, software-specific conventions, and task-level verification requirements. We introduce OmegaUse-SOP, a human-in-the-loop SOP Engineering system for transforming human demonstrations of professional computer use into reusable SOP skills for GUI agents. Analogous to prompt engineering, SOP Engineering iteratively refines demonstrations, execution rules, and domain knowledge to convert professional SOPs into reusable GUI-agent skills. OmegaUse-SOP consists of four modules: Observe, Reason, Configure, and Execute. Together, these modules record expert operations as multimodal GUI traces, abstract low-level events into semantic step-level instructions, incorporate domain rules and task-specific parameters, and execute the resulting skills in live GUI environments through step-wise grounding, action generation, and verification. To demonstrate its effectiveness, we collaborate with a power-sector client and test OmegaUse-SOP on photovoltaic simulation workflows in PVsyst 7.2. The results suggest that OmegaUse-SOP can improve GUI-agent reliability on professional SOP tasks, highlighting a practical path toward deploying GUI agents in domain-specific professional software environments.