Why Are GUI Agents Correct but Late? Decode on the Decision-Time Critical Path, Tested with Pre-Compiled Policy Trees
作者: Zihan Dong, Rui Qian, Qishi Zhan, Dongshen Peng, Kaixin Li, Yu Li
分类: cs.LG
发布日期: 2026-07-30
💡 一句话要点
提出自适应预期策略树以解决GUI代理决策延迟问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自适应策略 决策延迟 多模态模型 条件策略树 人机交互 计算机代理 瞬态事件处理
📋 核心要点
- 现有的计算机使用代理在瞬态GUI事件处理上存在延迟，导致正确动作产生时窗口已关闭。
- 提出自适应预期策略树（AAPT），通过在空闲期间构建条件策略树来消除决策延迟。
- 实验结果显示，AAPT成功率从0.50提升至0.79，且在执行过程中未产生错误动作。
📝 摘要（中文）
计算机使用代理在处理瞬态GUI事件时常常失败，因为它们在相关窗口关闭后才产生正确的动作。本文识别出主要原因是决策时关键路径上的自回归解码开销。我们提出自适应预期策略树（AAPT），在不修改基础模型的情况下消除这种延迟。在空闲屏幕期间，冻结的多模态模型构建一个有界的条件策略树，包含可观察的守卫、预授权的动作和特定分支的截止时间。当事件发生时，轻量级观察者将变化门控帧与准备好的分支匹配，并立即执行相应的动作，而无需生成新文本。在配对试验中，AAPT的成功率从0.50提高到0.79，且没有产生错误动作。实验结果表明，AAPT在候选动作可以提前枚举时表现最佳。
🔬 方法详解
问题定义：本文旨在解决计算机使用代理在瞬态GUI事件处理中的决策延迟问题。现有方法在执行时仍需解码，导致正确动作产生时窗口已关闭。
核心思路：提出自适应预期策略树（AAPT），在空闲屏幕期间构建条件策略树，允许在事件发生时快速匹配并执行动作，从而消除延迟。
技术框架：AAPT的整体架构包括三个主要模块：冻结的多模态模型用于构建条件策略树，轻量级观察者用于匹配变化门控帧，以及执行相应动作的机制。
关键创新：AAPT的核心创新在于通过构建有界的条件策略树来消除决策延迟，而不需要修改基础模型。这与现有方法的根本区别在于提前准备和快速响应。
关键设计：关键设计包括树的大小根据模型的解码延迟进行调整，观察者的快速解码能力，以及有效的分支路由策略。
🖼️ 关键图片
📊 实验亮点
实验结果显示，AAPT在配对试验中成功率从0.50提升至0.79，且未产生错误动作，显著优于开放式和预测-重规划基线，后者在执行过程中成功率为零。这表明AAPT在决策窗口内的表现显著提升。
🎯 应用场景
该研究的潜在应用领域包括自动化桌面助手、智能家居控制系统和人机交互界面等。通过提高代理在瞬态事件处理中的响应速度，能够显著提升用户体验和系统效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
Computer-use agents often fail on transient GUI events because they produce the correct action only after the relevant window has already closed. We identify the main cause as expensive autoregressive decoding on the decision-time critical path. We propose Adaptive Anticipatory Policy Trees (AAPT), which eliminates this delay without modifying the underlying model. During idle screen periods, the same frozen multimodal model constructs a bounded conditional policy tree with observable guards, pre-authorized actions, and branch-specific deadlines. The tree is sized to cover the model's own decoding latency. When an event occurs, a lightweight observer matches change-gated frames to a prepared branch and immediately executes the corresponding action without generating new text. In paired trials with pre-registered endpoints and exact McNemar tests, AAPT improves the success rate from 0.50 to 0.79 within a contested decision window ($p=1.8\times10^{-3}$), while producing no incorrect actions. Both open-loop and predict-and-replan baselines achieve zero success because they still decode during execution. A preparation-time sweep shows that the gain emerges where the latency-based tree-sizing rule predicts, and ablations reveal three key requirements: fast observer decoding, valid tree planning, and accurate branch routing. A pre-registered oracle probe rejects our initial hypothesis and instead points to branch routing as the causal bottleneck. We further reproduce the effect on an independent general-purpose multimodal model over 126 paired trials ($p=4.9\times10^{-13}$). On an external benchmark, AAPT matches the overall performance of a reactive baseline, although the two methods exhibit complementary strengths. Together, these results suggest that AAPT performs best when candidate actions can be enumerated in advance, whereas reactive execution remains stronger when they cannot.