Learning from Failure: Inference-Time Self-Improvement for Computer-Use Agents

📄 arXiv: 2606.31270v1 📥 PDF

作者: Xueqiao Sun, Xiaohan Wang, Ludwig Schmidt, Serena Yeung-Levy, Yuhui Zhang

分类: cs.CV, cs.AI, cs.CL, cs.CY, cs.LG

发布日期: 2026-06-30

备注: Published in ECCV 2026

💡 一句话要点

提出基于失败驱动的自我改进方法以提升计算机使用代理的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 计算机使用代理 多模态大型语言模型 自我改进 失败驱动 性能提升

📋 核心要点

  1. 现有方法主要依赖成功轨迹进行自我改进，忽视了失败轨迹中的重要信息，导致模型改进的局限性。
  2. 本文提出了一种失败驱动的自我改进循环，通过分析失败轨迹来提升代理性能，充分利用失败信息。
  3. 在OSWorld基准测试中，使用OpenCUA-72B模型成功率从42.3%提升至48.9%，显示出该方法的有效性和实用性。

📝 摘要（中文）

计算机使用代理利用多模态大型语言模型（MLLMs）操作计算机并完成任务，受到广泛关注。然而，现有方法主要依赖成功轨迹，忽视了失败轨迹中蕴含的丰富信息。本文提出了一种补充的失败驱动自我改进循环，通过利用失败轨迹进行代理改进。具体而言，采用大型语言模型诊断失败模式，提出推理时解决方案，并生成轻度验证的代码补丁以升级代理。通过在OSWorld基准上验证，使用OpenCUA-72B模型成功率从42.3%提升至48.9%，显示出失败驱动自我改进是成功基础管道的有效补充。

🔬 方法详解

问题定义：现有的计算机使用代理主要依赖成功轨迹进行自我改进，导致对失败信息的忽视，从而限制了模型的全面提升。

核心思路：本文提出通过失败驱动的自我改进循环，利用失败轨迹中的信息来改进代理性能，强调失败在学习过程中的重要性。

技术框架：整体架构包括三个主要模块：首先，使用大型语言模型（LLM）诊断失败模式；其次，提出推理时解决方案；最后，生成轻度验证的代码补丁以升级代理。

关键创新：最重要的创新在于将失败轨迹转化为改进机会，形成与传统成功驱动方法的本质区别，强调失败信息的价值。

关键设计：在设计中，采用了轻度人工验证的代码补丁生成机制，确保了生成代码的有效性，同时保持了推理时的低开销。具体的参数设置和损失函数设计尚未详细披露，需进一步研究。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用OpenCUA-72B模型在OSWorld基准测试中的成功率从42.3%提升至48.9%，提升幅度达到6.6个百分点，且没有额外的训练成本，推理开销也相对适中，验证了失败驱动自我改进的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动化办公、智能助手和人机交互等场景。通过有效利用失败信息，计算机使用代理能够更快速地适应用户需求，提高工作效率，未来可能在各类智能系统中发挥重要作用。

📄 摘要（原文）

Computer-use agents, which leverage multimodal large language models (MLLMs) to operate computers and complete tasks, have attracted significant attention for their utility and versatility. A major challenge in developing these agents is collecting large-scale, high-quality trajectories. The standard approach generates synthetic data through a self-improving loop: an agent is placed in a verifiable environment and iteratively fine-tuned on its successful trajectories. Despite its effectiveness, this paradigm exploits only successful trajectories and discards the failed ones, even though failures carry rich information about a model's weaknesses. In this work, we explore a complementary failure-driven self-improvement loop, a data-centric paradigm that turns failed trajectories into agent improvements. Specifically, we employ an LLM to diagnose failure modes, propose inference-time solutions, and generate code patches -- lightly verified by humans -- that upgrade the agent. We validate this approach with the state-of-the-art OpenCUA-72B model on the OSWorld benchmark, improving the success rate from 42.3% to 48.9%, a gain of 6.6 percentage points, without any additional training cost and with only modest inference overhead. Our results demonstrate that failure-driven self-improvement is a viable complement to success-based pipelines, enabling more efficient agent improvement.