The Next Screenshot Knows: Gated Hindsight Distillation for Mobile GUI Agents

📄 arXiv: 2608.06065v1 📥 PDF

作者: Weiwei Li, Junzhuo Liu, Tong Chu, Hengfu Yu, Wen Li

分类: cs.CV

发布日期: 2026-08-06

💡 一句话要点

提出Gated Hindsight Distillation以解决GUI代理训练中的信息缺失问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: GUI代理 蒸馏训练 后见蒸馏 移动应用 多模态学习

📋 核心要点

  1. 现有的GUI代理训练方法忽视了后续屏幕提供的重要信息，导致代理难以理解动作的正确性。
  2. 本文提出Gated Hindsight Distillation（GHD），通过利用下一个屏幕的信息来增强代理的学习能力。
  3. GHD在AndroidWorld和AndroidLab上相较于GRPO显著提高了任务成功率，展示了其有效性。

📝 摘要（中文）

GUI代理通常通过成功的交互轨迹进行离线训练。标准训练将每个轨迹分解为前缀-动作对，代理从当前屏幕和交互历史中预测动作，而后续观察被丢弃。这种方法忽略了动作正确性的依据，导致代理难以学习正确的推理。为了解决这一问题，本文提出了Gated Hindsight Distillation（GHD），在训练过程中使用下一个屏幕作为特权信息。学生模型从可观察的轨迹前缀中进行预测，而共享参数的教师模型则额外观察下一个屏幕，并重新评分学生的在线响应。只有在学生失败时，才应用蒸馏，教师通过后见条件恢复演示的动作。GHD在AndroidWorld和AndroidLab上相较于GRPO显著提高了任务成功率。

🔬 方法详解

问题定义：本文旨在解决现有GUI代理训练中因丢弃后续观察而导致的推理能力不足的问题。现有方法无法利用后续屏幕的信息，限制了代理的学习效果。

核心思路：Gated Hindsight Distillation（GHD）通过引入下一个屏幕作为特权信息，帮助学生模型在训练过程中更好地理解动作的合理性。教师模型在学生失败时提供指导，从而改善学习效果。

技术框架：GHD的整体架构包括学生模型和教师模型。学生模型根据可观察的轨迹前缀进行动作预测，而教师模型则观察下一个屏幕并对学生的预测进行重新评分。只有在学生模型的预测失败时，才进行蒸馏。

关键创新：GHD的核心创新在于利用下一个屏幕的信息进行后见蒸馏，这一方法与传统的蒸馏训练方法有本质区别，后者通常不考虑后续信息。

关键设计：在GHD中，教师模型与学生模型共享参数，确保信息传递的一致性。损失函数设计上，教师模型的评分用于调整学生模型的学习方向，增强了模型的推理能力。整体网络结构设计考虑了视觉和语言的多模态融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在AndroidWorld和AndroidLab的实验中，GHD相较于GRPO显著提高了任务成功率，具体提升幅度未知。实验结果表明，GHD在处理复杂交互场景时表现出更强的推理能力和适应性。

🎯 应用场景

该研究的潜在应用领域包括移动应用程序的自动化测试、智能助手和人机交互界面优化等。通过提高GUI代理的学习能力，GHD可以在实际应用中显著提升用户体验和操作效率，未来可能推动更智能的交互系统的发展。

📄 摘要（原文）

GUI agents are commonly trained offline from successful interaction trajectories. Standard training decomposes each trajectory into prefix-action pairs: the agent predicts an action from the current screen and interaction history, while the subsequent observation is discarded. This removes the rationale of why an action is correct: the evidence often appears only on the subsequent screen. For example, to enable Soft Wrap, the agent should click Edit or View, but nothing reveals this until the menu opens. Without such evidence, standard imitation gives the model little chance of ever sampling and thus learning the correct reasoning. To address this issue, we propose Gated Hindsight Distillation (GHD), which uses the next screenshot as privileged information during training. A student predicts from the observable trajectory prefix, while a parameter-sharing teacher additionally observes the next screenshot and re-scores the student's on-policy responses. We apply distillation only when the student fails and the hindsight-conditioned teacher recovers the demonstrated action. GHD improves task success over GRPO on AndroidWorld and AndroidLab across two vision-language models. The code and checkpoints will be made available.