CURA: Certified Runtime Alarms for Computer-Use Agents

📄 arXiv: 2608.27808v1 📥 PDF

作者: Divake Kumar, Sina Tayebati, Devashri Naik, Amanda Sofie Rios, Nilesh Ahuja, Omesh Tickoo, Ranganath Krishnan, Amit Ranjan Trivedi

分类: cs.AI, cs.CV, cs.LG

发布日期: 2026-08-28

💡 一句话要点

提出CURA以解决计算机使用代理的运行时监控问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 计算机使用代理 运行时监控 假警报控制 实时检测 外部监控

📋 核心要点

  1. 现有的计算机使用代理在关键时刻的自我报告监督失效，导致高比例的成功声称与实际失败不符。
  2. CURA通过外部监控，利用可见遥测数据进行运行时警报，避免了对模型内部的依赖，提升了失败检测的准确性。
  3. 实验结果显示，CURA在任务执行中显著提高了失败检测率，且在多个α值下均优于基线，提升了整体任务解决率。

📝 摘要（中文）

自我报告是部署者最便宜的监督渠道，但在计算机使用代理（CUAs）中，监督在关键时刻失效。本文提出CURA（计算机使用代理的认证运行时警报），它通过读取仅对外部可见的遥测数据，避免了模型内部、额外的LLM调用或提示更改，将运行轨迹转化为具有认证假警报控制的顺序测试。实验表明，CURA在α=0.10时的CUSUM警报能够在终止前的中位数31步内检测到42.3%的失败，假警报率为0.066。通过警报门控的中执行监督，成功恢复了23个失败，提升了整体任务得分。

🔬 方法详解

问题定义：本文旨在解决计算机使用代理在执行任务时自我报告失效的问题，导致高比例的虚假成功声称。现有方法缺乏有效的实时监控手段，无法准确识别任务中的失败情况。

核心思路：CURA的核心思路是通过外部监控系统，利用仅对外部可见的遥测数据进行实时警报，避免对模型内部的依赖，从而提高失败检测的准确性和可靠性。

技术框架：CURA的整体架构包括三个主要模块：可行性门控、规划器和GUI执行器。通过这些模块，CURA将运行轨迹转化为顺序测试，并实现认证假警报控制。

关键创新：CURA的最大创新在于其外部监控机制，能够在不依赖模型内部信息的情况下，实时检测失败并控制假警报率。这一设计与传统方法的根本区别在于其独立性和实时性。

关键设计：在参数设置上，CURA使用CUSUM警报机制，设定α值为0.10，以实现42.3%的失败检测率。关键设计还包括假警报率的控制，确保在执行过程中有效识别失败。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

CURA在实验中表现出色，在α=0.10时能够在中位数31步内检测到42.3%的失败，假警报率仅为0.066。与基线相比，CURA在相同认证预算下的召回率分别为0.41和0.34，显示出显著的性能提升。

🎯 应用场景

CURA的研究成果可广泛应用于自动化系统、智能代理和机器人等领域，尤其是在需要高可靠性和实时监控的场景中。其外部监控机制能够有效提升系统的安全性和稳定性，具有重要的实际价值和潜在的商业应用前景。

📄 摘要（原文）

Self-report is the cheapest oversight channel a deployer has, and on capable computer-use agents (CUAs) it fails precisely where oversight matters. On 361 OSWorld tasks our pipeline, a read-only feasibility gate, a planner, and a GUI executor, reaches a mean task score of 82.9, above the 72.4 human reference, yet 64 of its 71 failures (90%) end with a success claim, 61 acknowledging no blocker, and the explicit failure affordance is never used in roughly 9,100 calls. We introduce CURA (Certified Runtime Alarms for Computer-Use Agents), an external monitor that reads only harness-visible telemetry, with no model internals, extra LLM calls, or prompt changes, and turns the running trajectory into a sequential test with certified false-alarm control. At alpha = 0.10 its CUSUM alarm detects 42.3% of failures a median of 31 steps before termination at a realized false-alarm rate of 0.066, and risk is partly resolvable before the first action (gate probe, 0.69 AUROC). Retrospectively the composite reaches 0.828 AUROC (fold-internal floor 0.802), but its margin over a total-token baseline is not significant (Delta = +0.026, p = 0.101); the separation is online, where CURA recalls more at matched certified budgets: 0.41 versus 0.34 at alpha = 0.10, 0.56 versus 0.38 at alpha = 0.20. Alarm-gated mid-execution oversight recovers 23 of 70 failures while spending a frontier overseer on 38, giving a deployable cascade at mean score 86.8 and 84.5% full-solve (305 of 361). The certificate bounds false alarms only. We also report where behavioral monitoring is uninformative.