Hallucination-Free GUI Grounding via Regression-Free Layout-Aware Matching

📄 arXiv: 2608.09654v1 📥 PDF

作者: Yuke Li, Xuehan Hou

分类: cs.AI

发布日期: 2026-08-10

💡 一句话要点

提出无回归布局感知匹配以解决GUI定位问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: GUI定位 多模态学习 无回归模型 布局感知 用户界面 深度学习 视觉理解

📋 核心要点

  1. 现有的GUI定位方法在处理抽象用户指令时缺乏足够的语义理解，导致定位精度低。
  2. 本文提出了一种无回归的布局感知GUI定位模型，通过匹配布局先验候选项来实现精确定位，避免了坐标幻觉。
  3. 实验结果表明，该方法在ScreenSpot-Pro上提高了20%以上的定位准确率，在Mind2Web上提升了成功率和元素选择率超过15%。

📝 摘要（中文）

GUI代理正在从依赖元数据的大型语言模型转向直接在屏幕截图上操作的纯视觉多模态大型语言模型（MLLMs）。GUI定位任务需要将抽象用户指令转换为精确的元素坐标。现有方法面临两个主要障碍：传统的定位模型缺乏解释抽象指令的语义丰富性，而端到端的MLLMs由于细粒度感知不足而产生坐标幻觉。本文提出了一种无回归框架，其中一个冻结的MLLM负责指令解析，而专用的定位模型处理精确定位，无需学习任何坐标回归。该方法在ScreenSpot-Pro上实现了超过20%的定位准确率提升，并在Mind2Web上提高了成功率和元素选择率超过15%。

🔬 方法详解

问题定义：本文旨在解决GUI定位任务中的坐标幻觉问题，现有方法在理解抽象指令和精确定位方面存在不足。

核心思路：提出一种无回归的框架，通过冻结的MLLM进行指令解析，并使用专用的定位模型进行精确定位，避免了坐标回归的学习。

技术框架：整体架构包括两个主要模块：一个冻结的MLLM用于解析用户指令并生成结构化的视觉描述，另一个布局感知GUI定位模型用于根据布局先验进行匹配和定位。

关键创新：最重要的创新在于将指令理解与布局感知定位解耦，显著减少了坐标幻觉的发生，并避免了昂贵的微调过程。

关键设计：该模型仅使用文本/图标的二元标签进行训练，无需坐标回归参数，简化了模型的复杂性和训练过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，本文方法在ScreenSpot-Pro数据集上实现了超过20%的定位准确率提升，相较于端到端系统表现出显著优势；在Mind2Web上，成功率和元素选择率均提高超过15%，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能用户界面设计、自动化测试工具以及人机交互系统。通过提高GUI定位的准确性，能够显著提升用户体验和系统效率，未来可能推动更多基于视觉的交互技术的发展。

📄 摘要（原文）

GUI agents are shifting from metadata-dependent large language models to purely visual multimodal large language models (MLLMs) that operate directly on screenshots. The core task, GUI grounding, requires translating abstract user instructions into precise element coordinates. This task faces a persistent dual obstacle: conventional grounding models lack the semantic richness to interpret abstract instructions, while end-to-end MLLMs suffer from coordinate hallucinations caused by deficient fine-grained perception. We propose a regression-free framework where a frozen MLLM performs instruction parsing and a dedicated grounding model handles precise localization without learning any coordinate regression. A frozen MLLM first elaborates the abstract instruction into a structured visual description rich in layout cues. These descriptions are then fed to a novel Layout-Aware GUI Grounding Model, which performs regression-free localization by matching against layout-prior candidates, inherently suppressing hallucinations and avoiding expensive fine-tuning. The grounding model is trained with only Text/Icon binary labels, requiring no coordinate regression parameters. On ScreenSpot-Pro, our method achieves over 20% improvement in grounding accuracy over end-to-end systems; on Mind2Web, it raises success rate and element selection rate by more than 15%. These results demonstrate that decoupling instruction understanding from layout-aware localization effectively resolves the core challenges of GUI interaction.