Mage-VL-Cowork: A Full Training Recipe to Learn Hybrid Computer Use From Evolved Harnesses

📄 arXiv: 2610.40747v1 📥 PDF

作者: Xiaoyi Zhang, Haoqing Wang, Xinjie Zhang, Xiang Ming, Xing Wang, Senqiao Yang, Kaichen Zhang, Zhaoyang Jia, Andong Tan, Xinjiang Wang, Jinghao Guo, Yifei Shen, Xiao Li, Peng Zhang, Xun Guo, Jiahao Li, Shicheng Zheng, Jinglu Wang, Zongyu Guo, Wenxuan Xie, Bin Li, Yan Lu

分类: cs.CL, cs.LG

发布日期: 2026-10-29

备注: Project page: https://microsoft.github.io/Mage

💡 一句话要点

提出Mage-VL-Cowork以解决计算机使用代理的多模态交互问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 计算机使用代理 多模态交互 强化学习 监督微调 任务合成 智能助手 人机协作

📋 核心要点

  1. 现有的计算机使用代理在多模态交互方面存在不足，难以有效结合视觉和代码执行。
  2. 论文提出的Mage-VL-Cowork通过五阶段课程训练，利用可重用的工作流和应用准备器来提升效率。
  3. 实验结果显示，Mage-VL-Cowork-4B在OSWorld-Verified上达到了66.0%的准确率，推理成本更低，性能优越。

📝 摘要（中文）

有效的计算机使用代理（CUAs）应无缝结合视觉GUI交互与代码和终端执行。我们提出了Mage-VL-Cowork，一个通过端到端的五阶段课程训练的4B混合CUA，基于通用多模态对齐检查点。Mage-CUA-Forge通过可重用的技能条件生成工作流和特定应用的准备器，合成了293,806个桌面和网络任务，减少了82.6%的每任务开销。我们进化了教师框架并实例化了专业CUA框架，以获得高质量的轨迹和阶段特定的监督。最终，Mage-VL-Cowork-4B在OSWorld-Verified上达到了66.0%的成绩，展现了更高效的推理成本，达到了其参数规模下的最先进性能，推动了设备智能的前沿。

🔬 方法详解

问题定义：本论文旨在解决计算机使用代理在视觉GUI交互与代码执行之间的有效结合问题。现有方法在多模态交互上存在局限，难以实现无缝切换。

核心思路：Mage-VL-Cowork通过端到端的五阶段课程训练，结合技能条件生成工作流，旨在提升代理的学习效率和任务执行能力。这样的设计使得代理能够在不同任务间共享知识，减少重复训练的成本。

技术框架：整体架构包括五个主要阶段：中期训练、SFT（监督微调）和RL（强化学习）。Mage-CUA-Forge模块负责生成可重用的技能条件工作流，并合成多种桌面和网络任务。

关键创新：论文的主要创新在于进化教师框架，并实例化专业CUA框架，从而获得高质量的训练轨迹和阶段特定的监督。这一方法与传统的直接蒸馏教师模型的方式有本质区别。

关键设计：在参数设置上，Mage-VL-Cowork采用了4B的模型规模，损失函数设计上结合了多模态对齐和任务特定的优化目标，以确保模型在不同任务上的表现均衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Mage-VL-Cowork-4B在OSWorld-Verified上达到了66.0%的准确率，相比于以往方法，推理成本显著降低，提升幅度达到82.6%。该模型在其参数规模下实现了最先进的性能，展示了其在设备智能领域的潜力。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化办公软件和编程辅助工具等。通过提升计算机使用代理的多模态交互能力，Mage-VL-Cowork能够在实际工作中提供更高效的支持，推动人机协作的智能化进程。

📄 摘要（原文）

Effective computer-use agents (CUAs) should seamlessly combine visual GUI interaction with code and terminal execution within a single policy. We present Mage-VL-Cowork, a 4B hybrid CUA trained from a general multimodally aligned checkpoint through an end-to-end, progressive five-stage curriculum across midtraining, SFT, and RL. To power this curriculum at scale, Mage-CUA-Forge replaces per-task agent construction with reusable, skill-conditioned generation workflows and application-specific preparers, synthesizing 293,806 desktop and web tasks across 6,915 skills while reducing recurring per-task expenditure by 82.6%. Rather than directly distilling a default teacher, we evolve the teacher harness and instantiate specialized CUA harnesses to yield high-quality trajectories alongside stage-specific supervision. Mage-VL-Cowork-4B finally climbs to 66.0% on OSWorld-Verified through different training stages with more efficient reasoning cost, achieving state-of-the-art performance at its parameter size and pushing forward the frontier of on-device intelligence.