ComAct: Reframing Professional Software Manipulation via COM-as-Action Paradigm
作者: Jiaxin Ai, Tao Hu, Xuemeng Yang, Shu Zou, Hairong Zhang, Daocheng Fu, Yu Yang, Hongbin Zhou, Nianchen Deng, Pinlong Cai, Zhongyuan Wang, Botian Shi, Kaipeng Zhang, Licheng Wen
分类: cs.SE, cs.AI, cs.CL, cs.CV
发布日期: 2026-06-11
💡 一句话要点
提出COM-as-Action以解决专业软件操作中的局限性
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 专业软件操作 组件对象模型 程序合成 自我纠正代理 长时间任务 工业CAD软件 基准测试
📋 核心要点
- 现有的计算机使用代理在专业软件操作上存在根本性局限，尤其是在GUI和API方法中表现不佳。
- 本研究提出COM-as-Action范式，将软件交互视为程序合成，利用组件对象模型（COM）作为统一的执行抽象。
- 实验结果显示，ComActor在ComCADBench上表现出色，尤其在长时间任务中显著优于基线模型，展现出强大的适应性。
📝 摘要（中文）
现有的计算机使用代理在专业软件操作上存在根本性局限：基于GUI的代理面临脆弱的视觉基础和长时间错误累积，而基于API的方法则在异构协议和不可访问的商业接口上遇到困难。本研究将组件对象模型（COM）视为统一的可执行抽象，提出了COM-as-Action这一新范式，将专业软件交互重新框定为确定性的程序合成，而非顺序的视觉控制。为验证这一范式，我们引入了ComCADBench，这是第一个针对真实工业CAD软件的代理基准。实验结果显示，前沿的专有模型在基于GUI的交互中几乎没有成功，而基于COM的执行则带来了显著的即时收益。为弥补语法正确性与几何准确性之间的差距，我们开发了ComActor，一个通过渐进的三阶段框架训练的自我纠正代理，以及ComForge，一个用于在Windows容器中进行大规模训练的可扩展平台。大量实验表明，ComActor在ComCADBench上达到了最先进的性能，在长时间任务中表现出强大的韧性，并且能够推广到外部CAD基准。
🔬 方法详解
问题定义：本论文旨在解决现有计算机使用代理在专业软件操作中的局限性，尤其是基于GUI的代理在视觉基础和错误累积方面的脆弱性，以及基于API的方法在异构协议和商业接口上的困难。
核心思路：论文提出了COM-as-Action这一新范式，重新定义专业软件交互为确定性的程序合成，利用组件对象模型（COM）作为统一的可执行抽象，以提高操作的可靠性和准确性。
技术框架：整体架构包括两个主要模块：ComActor和ComForge。ComActor是一个自我纠正的代理，通过渐进的三阶段框架进行训练；ComForge则是一个可扩展的平台，支持在Windows容器中进行大规模训练。
关键创新：最重要的技术创新点在于将软件交互从传统的视觉控制转变为基于程序合成的执行方式，这一转变显著提高了操作的成功率和准确性。
关键设计：在设计中，采用了渐进的训练策略，结合了特定的损失函数和网络结构，以确保在长时间任务中的稳定性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，ComActor在ComCADBench上达到了最先进的性能，尤其是在长时间任务中表现出强大的韧性，成功率显著高于基线模型，具体数据表明，基于COM的执行方式带来了即时的性能提升。
🎯 应用场景
该研究的潜在应用领域包括工业设计、建筑工程和其他需要高精度CAD操作的专业软件环境。通过提高软件操作的可靠性和效率，能够显著提升工作流程的自动化水平，降低人为错误的风险，具有重要的实际价值和未来影响。
📄 摘要（原文）
Existing computer-use agents remain fundamentally limited in professional software manipulation: GUI-based agents suffer from fragile visual grounding and long-horizon error accumulation, while API-basedapproaches struggle with heterogeneous protocols and inaccessible commercial interfaces. In this work,we identify the Component Object Model (COM) as a unified executable abstraction, proposing COM-as-Action: a new paradigm that reframes professional software interaction as deterministic program synthesisrather than sequential visual control. To validate this paradigm in the most demanding environments, weintroduce ComCADBench, the first benchmark for agents operating real industrial CAD software. Ourexperiments reveal a substantial paradigm gap: frontier proprietary models achieve near-zero successunder GUI-based interaction, whereas COM-based execution yields substantial immediate gains. Tobridge the remaining gap between syntactic correctness and geometric accuracy, we develop ComActor, aself-correcting agent trained through a progressive three-stage framework, alongside ComForge, a scalableplatform for large-scale training in Windows containers. Extensive experiments show that ComActorachieves state-of-the-art performance on ComCADBench, with strong resilience in long-horizon taskswhere baselines collapse, and generalizes to external CAD benchmark.