Screenshots or Tools? Eliciting Tool Use and Managing Multimodal Context in Hybrid GUI-MCP Computer-Use Agents

📄 arXiv: 2608.03327v1 📥 PDF

作者: Siqi Fan, Minghao Li, Xiaoqian Ma, Wenhui Tan, Xiusheng Huang, Juntong Wu, Liujie Zhang, Shuo Shang, Weihang Chen

分类: cs.AI

发布日期: 2026-08-04

💡 一句话要点

提出混合计算机使用代理以优化工具使用与多模态上下文管理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 混合计算机使用代理 工具调用 多模态上下文 推理模型 强化学习 性能优化 人机交互

📋 核心要点

  1. 现有混合计算机使用代理在工具调用与多模态上下文管理方面存在显著不足，导致工具使用率低。
  2. 论文提出通过多轮强化学习优化工具决策行为，提升推理模型对工具的调用率。
  3. 实验结果显示，经过优化的代理在输入成本减少的情况下，准确率从33.0%提升至37.8%。

📝 摘要（中文）

混合计算机使用代理可以通过截图或调用文本工具进行操作。研究发现，工具的可用性并不决定其效果。在相同的GUI-MCP框架下，使用相同的MCP工具，推理模型的表现提高了4.0个百分点，而非推理模型则下降了5.9个百分点。两者的差异在于工具决策行为，非推理策略对工具的使用存在忽视、错误命名或错误终止等问题。推理模型虽然避免了这些失败，但在309个任务中仅在55个任务中调用工具，显示出工具使用的不足。通过多轮强化学习探讨了这一现象的原因，并提出了相应的解决方案。

🔬 方法详解

问题定义：本论文旨在解决混合计算机使用代理在工具调用中的低效问题，现有方法未能有效利用可用工具，导致性能下降。

核心思路：通过引入多轮强化学习，优化代理的工具决策行为，使其能够更有效地选择和整合工具，从而提升整体性能。

技术框架：整体架构包括工具调用决策模块和上下文管理模块，前者负责判断何时调用工具，后者则管理多模态输入的上下文信息。

关键创新：最重要的创新在于通过多轮强化学习探讨工具调用的语义，解决了传统方法中工具调用的低效问题，显著提升了推理模型的表现。

关键设计：在参数设置上，密集的工具奖励机制显著提高了电子表格的使用率，从0.03提升至0.33，同时在输入历史管理上，通过减少图像历史来降低输入成本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过优化的代理在输入成本减少的情况下，准确率从33.0%提升至37.8%，并且在处理特定任务时，成功调用工具的比例显著提高，展示了工具使用的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化办公软件以及人机交互系统，能够提升用户体验和工作效率。未来，随着技术的进一步发展，混合计算机使用代理有望在更多复杂任务中发挥作用。

📄 摘要（原文）

Hybrid computer-use agents can act through screenshots or call text tools. We find that having a tool available does not settle which way the effect goes. Under one identical GUI-MCP harness on the OSWorld-MCP benchmark (309 tasks), the same MCP tools improve a reasoning model by +4.0pp and degrade a non-reasoning model by -5.9pp (5 runs each, both beyond 2 SE). What separates the two is tool-decision behavior. The non-reasoning policy ignores, misnames, or falsely terminates around tools. The reasoning model avoids these failures, yet still calls a tool on only 55/309 tasks, 23.9% of the tool-reachable ones. We call this shortfall the adoption gap. Both levels of the problem share one cause: the model already has a cheaper route and is never trained to take it. Multi-turn RL probes that cause. At the action level, a dense tool bonus raises spreadsheet adoption 0.03 -> 0.33 and carries into greedy decoding, but held-out accuracy does not follow. Behavior is steerable; competence is not. The bottleneck lies in tool-call semantics. At the context level, a successful tool call often makes the next screenshot redundant. Dropping it and halving image history cuts input tokens by about a third, at a small accuracy cost. Retraining under the same observation rule removes that cost. The compressed agent then reaches 37.8% against 33.0% for the uncompressed operating point, at 53% of the input cost, and closes the rich-lean gap on a pre-registered degraded subset to zero. Tools help when the model chooses and integrates them, and current hybrid agents leave many such choices unused.