ComAct: Reframing Professional Software Manipulation via COM-as-Action Paradigm
作者: Jiaxin Ai, Tao Hu, Xuemeng Yang, Shu Zou, Hairong Zhang, Daocheng Fu, Yu Yang, Hongbin Zhou, Nianchen Deng, Pinlong Cai, Zhongyuan Wang, Botian Shi, Kaipeng Zhang, Licheng Wen
分类: cs.SE, cs.AI, cs.CL, cs.CV
发布日期: 2026-06-12
💡 一句话要点
提出COM-as-Action范式以解决专业软件操作的挑战
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 专业软件操作 组件对象模型 程序合成 自我纠正代理 长时间任务 工业CAD软件 基准测试
📋 核心要点
- 现有的计算机使用代理在专业软件操作中存在显著不足，尤其是在GUI和API方法的局限性上。
- 本文提出了COM-as-Action范式，将专业软件交互视为确定性的程序合成，克服了传统方法的不足。
- 实验结果表明，ComActor在ComCADBench上表现出色，尤其在长时间任务中显著优于基线模型。
📝 摘要（中文）
现有计算机使用代理在专业软件操作方面存在根本性局限：基于GUI的代理面临脆弱的视觉定位和长时间错误累积的问题，而基于API的方法则在异构协议和不可访问的商业接口上遇到困难。本文识别了组件对象模型（COM）作为统一的可执行抽象，提出了COM-as-Action这一新范式，将专业软件交互重新构架为确定性的程序合成，而非顺序的视觉控制。为验证该范式，我们引入了ComCADBench，这是第一个用于操作真实工业CAD软件的代理基准。实验结果显示，前沿的专有模型在基于GUI的交互中几乎没有成功，而基于COM的执行则带来了显著的即时收益。为了弥补语法正确性与几何准确性之间的差距，我们开发了ComActor，一个通过渐进式三阶段框架训练的自我纠正代理，并推出了ComForge，一个用于在Windows容器中进行大规模训练的可扩展平台。大量实验表明，ComActor在ComCADBench上达到了最先进的性能，在长时间任务中表现出强大的韧性，并能够推广到外部CAD基准。
🔬 方法详解
问题定义：本文旨在解决现有计算机使用代理在专业软件操作中的局限性，尤其是基于GUI的代理在视觉定位和错误累积方面的脆弱性，以及基于API的方法在异构协议和商业接口上的挑战。
核心思路：提出COM-as-Action范式，将软件交互重新定义为确定性的程序合成，避免了传统的顺序视觉控制方法的缺陷。通过利用组件对象模型（COM），实现了更为稳定和高效的操作。
技术框架：整体架构包括两个主要模块：ComActor和ComForge。ComActor是一个自我纠正的代理，通过三阶段的训练框架进行优化；ComForge则是一个可扩展的平台，支持在Windows容器中进行大规模训练。
关键创新：最重要的创新在于将软件操作视为程序合成，而非简单的视觉控制，这一转变显著提高了操作的准确性和稳定性。
关键设计：在训练过程中，采用了渐进式的三阶段框架，结合特定的损失函数和网络结构，以确保ComActor在长时间任务中的表现稳定，并能够有效地进行自我纠正。具体的参数设置和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，ComActor在ComCADBench上达到了最先进的性能，特别是在长时间任务中表现出强大的韧性，相较于基线模型，成功率显著提高，几乎实现了零错误率的操作。
🎯 应用场景
该研究的潜在应用领域包括工业设计、建筑工程和任何需要使用复杂CAD软件的专业领域。通过提高软件操作的准确性和效率，能够显著提升工作流程的生产力，未来可能会对相关行业产生深远影响。
📄 摘要（原文）
Existing computer-use agents remain fundamentally limited in professional software manipulation: GUI-based agents suffer from fragile visual grounding and long-horizon error accumulation, while API-basedapproaches struggle with heterogeneous protocols and inaccessible commercial interfaces. In this work,we identify the Component Object Model (COM) as a unified executable abstraction, proposing COM-as-Action: a new paradigm that reframes professional software interaction as deterministic program synthesisrather than sequential visual control. To validate this paradigm in the most demanding environments, weintroduce ComCADBench, the first benchmark for agents operating real industrial CAD software. Ourexperiments reveal a substantial paradigm gap: frontier proprietary models achieve near-zero successunder GUI-based interaction, whereas COM-based execution yields substantial immediate gains. Tobridge the remaining gap between syntactic correctness and geometric accuracy, we develop ComActor, aself-correcting agent trained through a progressive three-stage framework, alongside ComForge, a scalableplatform for large-scale training in Windows containers. Extensive experiments show that ComActorachieves state-of-the-art performance on ComCADBench, with strong resilience in long-horizon taskswhere baselines collapse, and generalizes to external CAD benchmark.