ENVS: Environment-Native Verified Search for Long-Horizon GUI Agents
作者: Yincheng Zhou, Athena Zhuoming Zhong, Shijie Zhang, Kevin Zhang, Teresa Xiaotao Shang, Shanghang Zhang
分类: cs.AI, cs.CV
发布日期: 2026-06-22
💡 一句话要点
提出ENVS以解决长时间序列GUI任务的有效搜索问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长时间序列 GUI任务 环境原生验证 强化学习 自动化测试 智能体训练
📋 核心要点
- 现有方法在长时间序列的GUI任务中面临反馈稀疏和延迟的问题，导致轨迹发现困难。
- 提出的ENVS方法通过环境构建验证监督，优化策略训练，增强了对长时间序列操作的学习能力。
- 在300个任务的实验中，ENVS显著提升了成功率，并减少了计算资源消耗，展示了其优越性。
📝 摘要（中文）
随着多模态智能体从界面理解转向真实软件控制，在实时桌面环境中成功发现轨迹成为一项关键挑战。GUI任务需要长时间序列的精确鼠标和键盘操作，而反馈稀疏、延迟且通过虚拟机回放获取成本高。本文提出环境原生验证搜索（ENVS），在训练阶段利用环境构建验证监督，优化策略。通过在OSWorld虚拟机中对行为上不同的GUI操作进行分支，验证成功的叶子节点，并从全局平衡的步骤级监督中进行训练。为了评估在现实桌面干扰下的鲁棒性，我们还引入了OSWorld-Noisy基准，测试智能体在动态干扰下的恢复能力。在300个任务的OSWorld池中，ENVS在原始评估中达到30.3的pass@8，在OSWorld-Noisy中达到29.0，超越了匹配的ARPO风格在线强化学习，同时将计算需求从184-192 GPU小时减少到138-153 GPU小时。即使仅使用30%的搜索数据，ENVS也能达到27.0的pass@8，超越了基础模型的ARPO。训练于噪声环境中还更好地保留了在辅助基准上的视觉推理能力。
🔬 方法详解
问题定义：本文旨在解决长时间序列GUI任务中的轨迹发现问题，现有方法在反馈稀疏和延迟的情况下难以有效学习。
核心思路：ENVS通过在训练阶段利用环境进行搜索和过滤，构建验证监督，以此优化策略的学习过程。这样设计的目的是为了提高智能体在复杂环境中的学习效率和准确性。
技术框架：ENVS的整体架构包括环境搜索、行为验证和策略优化三个主要模块。首先在虚拟机中进行行为搜索，然后验证成功的操作，最后利用全局平衡的监督信息进行策略训练。
关键创新：ENVS的核心创新在于其环境原生的验证搜索机制，能够有效地从真实环境中提取有用的监督信息，与传统的在线强化学习方法相比，显著提升了学习效率和成功率。
关键设计：在ENVS中，关键参数包括搜索深度和验证标准，损失函数设计为平衡不同操作的学习权重，网络结构采用了适应性调整的深度学习模型，以适应不同的GUI任务。
🖼️ 关键图片
📊 实验亮点
实验结果显示，ENVS在300个任务的OSWorld池中达到了30.3的pass@8，且在OSWorld-Noisy基准中达到了29.0，均超越了ARPO风格的在线强化学习。同时，计算资源消耗显著降低，从184-192 GPU小时减少到138-153 GPU小时，展示了其高效性。
🎯 应用场景
该研究具有广泛的应用潜力，特别是在自动化软件测试、用户界面自动化和智能助手等领域。通过提高智能体在复杂环境中的学习和适应能力，ENVS能够为实际应用提供更高效的解决方案，推动相关技术的发展。未来，ENVS的框架也可能扩展到其他需要长时间序列决策的任务中。
📄 摘要（原文）
As multimodal agents move from interface understanding to real software control, successful trajectory discovery in live desktop environments becomes a key challenge. GUI tasks require long-horizon sequences of precise mouse and keyboard actions, while feedback is sparse, delayed, and costly to obtain through VM rollouts. We propose Environment-Native Verified Search (ENVS), a training-time search-and-filter pipeline that uses the environment to construct verified supervision before policy optimization: it branches over behaviorally distinct GUI actions in live OSWorld VMs, verifies successful leaves, and trains from globally balanced step-level supervision. To evaluate robustness under realistic desktop interruptions, we also introduce OSWorld-Noisy, a dynamic benchmark for recoverable desktop interruptions that preserves the original tasks while testing whether agents can refocus, dismiss, wait, or recover under live perturbations. On the 300-task OSWorld pool, ENVS reaches 30.3 pass@8 on original evaluations and 29.0 on OSWorld-Noisy, outperforming matched ARPO-style online RL while reducing compute from 184-192 to 138-153 GPU-hours; even with only 30% of its search data, ENVS reaches 27.0 pass@8, exceeding ARPO from the base model. Training from noisy environments also better preserves visual-reasoning abilities on auxiliary benchmarks, including OSWorld-G Refusal (16.7 vs. 1.9) and BLINK Functional Correspondence (26.2 vs. 23.1).