Test-Time Self-Evolving GUI Visual Grounding via Reflection-Guided On-Policy Self-Distillation

📄 arXiv: 2608.11191v1 📥 PDF

作者: Shiyu Xuan, Zechao Li

分类: cs.CV, cs.AI, cs.CL

发布日期: 2026-08-11

💡 一句话要点

提出测试时自我演化框架以解决GUI视觉定位适应性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: GUI视觉定位 自我演化 在线自蒸馏 反思机制 强化学习 模型适应性 自动化测试

📋 核心要点

  1. 现有GUI视觉定位模型在部署后无法适应新界面，限制了其灵活性和实用性。
  2. 本文提出了一种测试时自我演化框架，通过探索、评估、反思和内化的闭环机制来提升模型能力。
  3. 在六个基准测试中，框架实现了平均7.4%的准确率提升，展示了其在实际应用中的有效性。

📝 摘要（中文）

GUI视觉定位是GUI代理的基本能力。现有模型在部署后通常冻结参数，限制了其对未见界面的适应能力。尽管近期方法尝试通过测试时强化学习来适应模型，但无法反思失败的探索。为此，本文提出了一种测试时自我演化框架，使模型在部署后无需人工标注真值即可改进。该框架构建了探索、评估、反思和内化的闭环。具体而言，代理首先通过预测给定指令的定位坐标来探索未见界面。为了评估这些探索，本文引入了基于MLLM的反射器来评估生成结果并提供相应的推理反思。为了将反思知识内化到模型权重中，提出了反射引导的在线自蒸馏方法，将高层推理转化为密集的标记级监督。通过在六个基准上的广泛实验，验证了框架的有效性，平均准确率提升了7.4%。

🔬 方法详解

问题定义：本文解决的问题是现有GUI视觉定位模型在部署后无法适应新界面的局限性，导致其无法在实际应用中灵活应对变化。

核心思路：论文的核心思路是构建一个测试时自我演化框架，通过反思和自蒸馏机制，使模型能够在没有人工标注的情况下自我改进。

技术框架：整体架构包括四个主要模块：探索（通过预测定位坐标探索新界面）、评估（使用MLLM反射器评估结果）、反思（提供推理反思）和内化（通过反射引导的自蒸馏将反思知识内化）。

关键创新：最重要的技术创新是首次成功利用在线自蒸馏方法进行测试时适应，填补了部署后适应的空白。

关键设计：在设计中，采用了反射引导的自蒸馏方法，将高层推理转化为密集的标记级监督，并设计了对比校准方法，以防止错误的自回归前缀干扰监督信号。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的框架在六个基准测试中实现了平均7.4%的准确率提升，相较于基线模型表现出显著的改进，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括智能用户界面、自动化测试和人机交互等。通过提升GUI代理的适应能力，能够在多变的应用环境中提供更高效的服务，具有重要的实际价值和未来影响。

📄 摘要（原文）

GUI Visual Grounding is a fundamental capability for GUI agents. Existing models typically freeze their parameters after deployment, limiting their ability to adapt to unseen interfaces. Although recent methods attempt to adapt models via test-time reinforcement learning, they cannot reflect upon failed exploration. To overcome this, we propose a Test-Time Self-Evolving framework that enables models to improve after deployment without human-annotated ground truth. It constructs a closed-loop of Exploration, Evaluation, Reflection, and Internalization. Specifically, the agent first explores unseen interfaces by predicting grounding coordinates for given instructions. To evaluate these explorations, we introduce an MLLM-based Reflector to assess the generated results and provide the corresponding reasoning reflections. To internalize reflection knowledge into the model weights, we propose Reflection-Guided On-Policy Self-Distillation, which translates high-level reasoning into dense token-level supervision via a conditioned self-teacher. Furthermore, we design a Contrastive Calibration method to prevent incorrect auto-regressive prefixes from corrupting the supervisory signals during failed explorations. Extensive experiments across six benchmarks demonstrate our framework's effectiveness, achieving an average accuracy improvement of 7.4% over the base model. To the best of our knowledge, this is the first work to successfully exploit on-policy self-distillation for test-time adaptation in GUI visual grounding. By filling the gap in post-deployment adaptation, our framework completes the self-evolving capability of GUI agents. The code will be released.