One Forward Beats Two: InnerZoom for Accurate and Efficient GUI Grounding
作者: Chen Liu, Ling Chen, Hanzhang Zhou, Liangyu Chen, Chenglin Cai, Xin Yu, Steven Hoi, Yue Wang
分类: cs.CV
发布日期: 2026-06-29
💡 一句话要点
提出InnerZoom以解决GUI定位效率与准确性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: GUI定位 跨层证据 单次前向 计算效率 深度学习
📋 核心要点
- 现有的GUI定位方法在保持区域级目标证据的同时，难以实现高效的坐标解码，导致定位精度不足。
- InnerZoom通过单次前向传递，跨层桥接目标相关证据，避免了传统方法的两次缩放带来的额外计算开销。
- 实验表明，InnerZoom-4B在多个基准测试中超越了之前的最佳结果，并显著降低了延迟和计算成本。
📝 摘要（中文）
基于MLLM的GUI定位方法通常将目标定位形式化为自回归坐标生成，利用MLLM强大的指令跟随和语义理解能力。然而，这种形式要求模型在解码坐标标记时保留区域级目标证据。我们的分析表明，目标区域意识在解码器的中间层中出现，但未能保留或转化为最终的坐标预测。现有的ZoomIn方法通过外部裁剪和重运行来解决此问题，虽然提高了定位精度，但增加了延迟和计算成本。为保留两次缩放的准确性而不增加额外成本，我们提出了InnerZoom，一个单次前向的跨层证据桥接框架。InnerZoom将目标相关线索转化为紧凑的跨层证据状态，并在后续解码层中进行保留、精炼和再注入，以指导坐标预测。实验结果表明，InnerZoom-4B在所有六个GUI定位基准上均取得了最先进的性能。
🔬 方法详解
问题定义：本论文旨在解决现有GUI定位方法在坐标生成过程中无法有效保留和利用区域级目标证据的问题。这导致了定位精度的不足和计算效率的低下。
核心思路：论文提出的InnerZoom方法通过单次前向传递，将目标相关线索转化为跨层证据状态，并在后续解码过程中不断精炼和再注入该状态，从而提高坐标预测的准确性和效率。
技术框架：InnerZoom的整体架构包括三个主要模块：首先是目标线索的提取，其次是跨层证据状态的构建，最后是通过解码层的再注入来指导坐标预测。
关键创新：InnerZoom的核心创新在于其单次前向框架，能够有效地桥接不同解码层之间的证据，而不需要传统方法中的额外裁剪和重运行步骤，从而显著提高了计算效率。
关键设计：在设计中，InnerZoom采用了紧凑的跨层证据状态表示，并通过特定的损失函数来优化目标线索的保留与再注入，确保在解码过程中能够持续利用这些信息。具体的网络结构和参数设置将在代码中公开。
🖼️ 关键图片
📊 实验亮点
实验结果显示，InnerZoom-4B在六个GUI定位基准上均取得了最先进的性能，OSWorld-G得分64.7，UI-Vision得分40.2，OSWorld-GR得分73.1，MMBench-GUI得分87.6，分别超越之前最佳结果4.1、3.2、2.9和2.3分。同时，InnerZoom在控制的4B设置下，平均提升5.3分，并在减少延迟和计算成本方面表现出色。
🎯 应用场景
该研究的潜在应用领域包括图形用户界面（GUI）设计、自动化测试和人机交互等。通过提高GUI定位的准确性和效率，InnerZoom能够为开发者提供更智能的工具，提升用户体验，并在自动化领域产生深远影响。
📄 摘要（原文）
MLLM-based GUI grounding methods commonly formulate target localization as autoregressive coordinate generation, enabling models to leverage the strong instruction-following and semantic understanding capabilities of MLLMs. However, this formulation requires the model to retain region-level target evidence while decoding coordinate tokens with the spatial precision demanded by GUI clicking. Our diagnostic analysis reveals that target-region awareness emerges in intermediate decoder layers but is neither retained nor translated into the final coordinate prediction. Existing ZoomIn-style methods address this issue through an external crop-and-rerun pass, which improves localization but increases end-to-end latency and computational cost. To retain the accuracy benefits of two-pass zooming without this extra cost, we propose InnerZoom, a single-forward framework for cross-layer evidence bridging. InnerZoom transforms target-related cues from the original forward pass into a compact cross-layer evidence state, then preserves, refines, and reinjects this state throughout later decoding layers to guide coordinate prediction. Extensive experimental results suggest that InnerZoom-4B achieves state-of-the-art performance on all six GUI grounding benchmarks, obtaining 64.7 on OSWorld-G, 40.2 on UI-Vision, 73.1 on OSWorld-GR, and 87.6 on MMBench-GUI, surpassing the previous best results by 4.1, 3.2, 2.9, and 2.3 points, respectively. Under a controlled 4B setting, InnerZoom improves the same SFT+RL baseline by 5.3 points on average and outperforms two-pass ZoomIn by 1.3 points on average, while reducing end-to-end latency by up to 31.8% and TFLOPs by about 29%. Code and models will be publicly available.