Learning to Look Beyond Screens: Transferable Visual Observation from GUI Grounding

📄 arXiv: 2610.37093v1 📥 PDF

作者: Ruilin Yao, Xinyu Qiu, Tianyu Zou, Yi Rong, Shengwu Xiong, Shuheng Shen, Changhua Meng

分类: cs.CV, cs.AI

发布日期: 2026-10-27

备注: Technical Report

🔗 代码/项目: GITHUB | HUGGINGFACE

💡 一句话要点

提出LBS模型以解决GUI基础上可转移的视觉观察问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉感知 GUI基础 强化学习 多模态推理 空间监督 观察策略 模型优化

📋 核心要点

  1. 现有方法在视觉感知中缺乏有效的空间监督，难以实现超越界面的观察行为。
  2. 本文提出LBS模型，通过教师生成的GUI轨迹进行监督初始化，并结合强化学习优化决策过程。
  3. 实验结果表明，LBS模型在多个基准测试中显著提升性能，验证了其在可转移视觉观察中的有效性。

📝 摘要（中文）

视觉感知正从被动识别向主动、任务导向的观察演变。本文研究了GUI基础作为可扩展的空间监督来源，以学习超越界面的观察行为。我们提出了LBS（Look Beyond Screens）模型，通过教师生成的GUI基础轨迹进行监督初始化训练，随后采用强化学习进行多轮裁剪和检查决策。在固定推理设置下，基于Qwen3.5-35B-A3B和Qwen3.8-27B的LBS模型在相应基线之上持续改进。超越监督微调的增益在PerceptionBench、HR-Bench和ChartQAPro中得到了验证，支持超越GUI特定模仿的观察策略。进一步分析表明，两个阶段的互补作用：SFT建立视觉检查原语，而RL提高其下游有效性。这些发现支持GUI基础作为可转移主动视觉感知和更广泛多模态推理的实用监督范式。

🔬 方法详解

问题定义：本文旨在解决现有视觉感知方法在GUI基础上缺乏有效空间监督的问题，导致观察行为难以转移到其他场景。

核心思路：通过引入LBS模型，利用教师生成的GUI轨迹进行监督初始化，结合强化学习优化多轮决策，从而实现可转移的视觉观察能力。

技术框架：LBS模型的整体架构包括两个主要阶段：首先是监督微调（SFT），用于建立视觉检查原语；其次是强化学习（RL），用于提升下游任务的决策有效性。

关键创新：LBS模型的创新在于将GUI基础作为空间监督来源，利用强化学习优化观察策略，使得模型能够超越特定界面进行有效观察。

关键设计：模型采用了特定的损失函数以平衡监督学习与强化学习的目标，同时在网络结构上进行了优化，以适应多模态输入和输出的需求。具体参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于Qwen3.5-35B-A3B和Qwen3.8-27B的LBS模型在多个基准测试中均显著优于相应的基线，特别是在PerceptionBench、HR-Bench和ChartQAPro上，验证了模型的有效性和可转移性。

🎯 应用场景

该研究的潜在应用领域包括人机交互、智能助手和自动化测试等。通过提升视觉观察能力，LBS模型能够在多种实际场景中实现更高效的任务执行，具有重要的实际价值和未来影响。

📄 摘要（原文）

Visual perception is evolving from passive recognition toward active, task-oriented observation. We investigate GUI grounding as a scalable source of spatial supervision for learning observation behaviors that transfer beyond interfaces. We introduce LBS (Look Beyond Screens), a vision-language model trained through supervised initialization on teacher-generated GUI grounding trajectories, followed by reinforcement learning for multi-turn crop-and-inspect decisions. Under fixed inference settings, LBS models based on Qwen3.5-35B-A3B and Qwen3.8-27B consistently improve over their corresponding baselines. Gains beyond supervised fine-tuning transfer to PerceptionBench for both backbones and to HR-Bench and ChartQAPro for Qwen3.5-35B-A3B, supporting observation strategies that generalize beyond GUI-specific imitation. Further analysis suggests complementary roles for the two stages: SFT establishes visual inspection primitives, while RL improves their downstream effectiveness. These findings support GUI grounding as a practical supervision paradigm for transferable active visual perception and broader multimodal reasoning. Our code and model are publicly available at https://github.com/inclusionAI/UI-Venus/tree/LBS and https://huggingface.co/inclusionAI/LBS-27B, respectively.