Reinforcement Learning for Computer-Use Agents with Autonomous Evaluation
作者: Marta Sumyk, Oleksandr Kosovan
分类: cs.AI, cs.HC
发布日期: 2026-06-23
备注: Accepted to the 4th International Workshop on Generalizing from Limited Resources in the Open World (GLOW @ IJCAI 2026)
💡 一句话要点
提出基于自主评估的强化学习框架以优化计算机使用代理
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 计算机使用代理 强化学习 自主评估 视觉-语言模型 噪声校正 策略优化 人机交互
📋 核心要点
- 现有方法在开放式桌面环境中难以提供可扩展的奖励信号，导致CUAs的强化学习效果不佳。
- 本文提出了一种利用视觉-语言模型进行自主评估的强化学习微调框架，避免了手工标签的需求。
- 实验结果显示，经过噪声校正的评估奖励在多个环境中成功率提高了12.6个百分点，表明方法有效。
📝 摘要（中文）
计算机使用代理（CUAs）通过直接在图形用户界面中感知和行动来执行高层用户目标。然而，由于开放式桌面环境中很难提供可扩展的、机器可读的奖励信号，CUAs的强化学习仍然面临挑战。本文提出了一种强化学习微调框架，利用自主视觉-语言评估作为GUI代理的可扩展监督信号。通过对最终截图和原始指令进行评估，视觉-语言模型判断任务完成情况，并在策略优化过程中提供终端反馈。实验结果表明，经过噪声校正的评估奖励在多个环境中显著提高了成功率，表明自主评估可以作为GUI环境中强化学习的有效奖励信号。
🔬 方法详解
问题定义：本文旨在解决计算机使用代理（CUAs）在开放式桌面环境中缺乏可扩展、机器可读的奖励信号的问题。现有方法依赖手工设计的奖励函数或密集的人工标签，难以适应动态变化的环境。
核心思路：提出了一种基于自主视觉-语言评估的强化学习微调框架，通过视觉-语言模型对任务完成情况进行评估，从而提供终端反馈，避免了任务特定的启发式规则和手工标签的需求。
技术框架：整体架构包括三个主要模块：视觉-语言模型、噪声校正奖励估计器和策略优化模块。视觉-语言模型负责评估任务完成情况，噪声校正奖励估计器用于处理评估反馈中的噪声，策略优化模块则基于校正后的奖励信号进行学习。
关键创新：最重要的创新在于将自主评估作为强化学习的奖励信号，并通过噪声校正机制提高了评估的准确性。这一方法与传统的手工设计奖励函数有本质区别，能够适应开放式环境的复杂性。
关键设计：在设计中，采用了噪声校正的奖励估计器，利用二元反馈信号来建模评估者的反馈噪声。此外，使用了近端策略优化（PPO）算法进行策略更新，以提高学习的稳定性和效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，经过噪声校正的评估奖励相比于零-shot基线提高了12.6个百分点，较原始评估奖励提高了5.1个百分点，显示出自主评估在强化学习中的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化办公软件和人机交互系统等。通过提供更有效的奖励信号，能够显著提升计算机使用代理的智能水平和用户体验，未来可能在各类自动化任务中发挥重要作用。
📄 摘要（原文）
Computer-Use Agents (CUAs) execute high-level user goals by perceiving and acting directly within graphical user interfaces. However, reinforcement learning for CUAs remains difficult because open-ended desktop environments rarely provide scalable, machine-readable reward signals: task success is often visually grounded and hard to specify with handcrafted reward functions or dense manual labels. We propose an RL fine-tuning framework that uses autonomous vision-language evaluation as a scalable supervision signal for GUI agents. Given a final screenshot and the original instruction, a Vision-Language Model judges task completion and provides terminal feedback without task-specific heuristics or manual labels during policy optimization. Because autonomous evaluators are imperfect, we model their feedback as a noisy binary reward channel and derive a noise-corrected reward estimator for Proximal Policy Optimization. Experiments across macOSWorld, Windows Agent Arena, and OSWorld show that corrected evaluator rewards outperform both zero-shot baselines and raw evaluator rewards, improving success rates by an average of 12.6 percentage points over zero-shot performance and 5.1 points over raw evaluator fine-tuning. These results suggest that autonomous evaluation can serve as a practical reward signal for RL in GUI environments when evaluator noise is explicitly modeled and corrected.