GUI-JEPA: Candidate-Conditioned JEPA Latents as a Fast Action Policy for Mobile GUI Agents

📄 arXiv: 2610.36877v1 📥 PDF

作者: Bingchao Wang, Yongcheng Jing, Shunyu Liu, Chengyu Wang, Jun Huang, Jie Yang, Wei Liu, Dacheng Tao

分类: cs.AI, cs.CL, cs.CV

发布日期: 2026-10-27

备注: 26 pages, 11 figures, 16 tables

🔗 代码/项目: GITHUB

💡 一句话要点

提出GUI-JEPA以解决移动GUI代理的速度和内存问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 移动GUI代理 视觉-语言模型 联合嵌入预测 无解码器策略 动作选择 效率提升 智能助手 人机交互

📋 核心要点

  1. 现有的移动GUI代理方法依赖于逐个解码动作，导致速度慢且内存消耗大。
  2. 论文提出GUI-JEPA，利用JEPA架构在潜在空间中选择动作，避免逐个解码。
  3. 实验表明，GUI-JEPA在相同GPU上比基线快2.8-4.0倍，同时保持高准确率。

📝 摘要（中文）

移动GUI代理通常是经过微调的7B规模视觉-语言模型（VLM），逐个生成每个动作。然而，这些VLM逐步解码每个动作，导致速度慢且内存消耗大。为了解决这些问题，我们提出了GUI-JEPA，这是首个基于联合嵌入预测架构（JEPA）的无解码器GUI代理策略。它在预训练的无标签GUI截图的JEPA编码器的潜在空间中选择动作。其动作和区域条件的潜在预测器将屏幕潜在转化为每个候选动作的潜在表示，使得轻量级头部能够在单次批处理中对所有候选进行评分，而无需逐个解码。实验结果表明，GUI-JEPA在AndroidControl上比Qwen2.5-VL-7B代理快2.8-4.0倍，同时以6%的参数达到了86-92%的准确率。

🔬 方法详解

问题定义：论文要解决的问题是现有移动GUI代理在生成动作时的速度和内存效率低下，尤其是依赖逐个解码的过程。现有方法在处理候选动作时需要消耗大量内存和计算资源。

核心思路：论文的核心思路是提出GUI-JEPA，通过在JEPA编码器的潜在空间中选择动作，避免了逐个解码的过程，从而提高了效率。该方法通过将屏幕潜在转化为每个候选动作的潜在表示，使得所有候选动作可以在一次批处理内进行评分。

技术框架：整体架构包括一个预训练的JEPA编码器和一个动作-区域条件的潜在预测器。该预测器将输入的屏幕潜在映射到多个候选动作的潜在表示，轻量级评分头则在此基础上对候选动作进行评估。

关键创新：最重要的技术创新点在于引入了无解码器的策略，通过潜在空间的选择来替代传统的逐个解码方式。这一方法显著提高了处理速度，并减少了内存消耗。

关键设计：在设计上，潜在预测器的训练并不依赖于预训练的屏幕动态，而是随机初始化的预测器表现与预训练相当。此外，轻量级评分头的设计使得在单次批处理内对所有候选动作进行评分成为可能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GUI-JEPA在AndroidControl上比Qwen2.5-VL-7B代理快2.8-4.0倍，同时以仅6%的参数达到了86-92%的准确率。这表明该方法在速度和效率上具有显著优势，能够在保持性能的同时大幅降低资源消耗。

🎯 应用场景

该研究的潜在应用领域包括移动应用中的自动化操作、智能助手和人机交互界面等。通过提高移动GUI代理的响应速度和效率，能够显著提升用户体验，推动智能设备的普及和应用。未来，该技术可能在更多复杂的交互场景中发挥重要作用。

📄 摘要（原文）

Mobile GUI agents are typically fine-tuned 7B-scale vision-language models (VLMs) that generate each action as text. However, these VLMs decode every action token by token, and even agents that score candidate actions keep a large language model or VLM in the loop, making them slow and memory-hungry. To address these issues, we propose GUI-JEPA, to our knowledge the first decoder-free GUI agent policy built on a Joint-Embedding Predictive Architecture (JEPA), which selects actions in the latent space of a JEPA encoder pretrained on unlabelled GUI screenshots. Its action- and region-conditioned latent predictor turns the screen latent into one latent per candidate action, letting lightweight heads score all candidates against the instruction in a single batched pass, without decoding a token. We further show that the scorer relies on this latent pathway and that the predictor is trained for the decision itself: a randomly initialised predictor does just as well as one pretrained on screen dynamics. On AndroidControl, GUI-JEPA is 2.8-4.0x faster on the same GPU than a Qwen2.5-VL-7B agent we fine-tune with the same inputs, while reaching 86-92% of its in-distribution accuracy with 6% of its parameters. Code is available at https://github.com/bcwang-sjtu/GUI-JEPA