FocusMem: Factorizing Content, Readout, and Trust in Latent GUI Memory
作者: Zhuoran Zhang, Bowen Li, Jingcheng Ju, Yang Shi, Qixun Wang, Haotian Wang, Wei Chen, Tengjiao Wang
分类: cs.CV
发布日期: 2026-08-05
备注: 36 pages
💡 一句话要点
提出FocusMem以解决GUI记忆中的信息压缩与决策阶段问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 潜在记忆 GUI代理 信息压缩 决策支持 多模态学习 信任机制 记忆管理
📋 核心要点
- 现有方法在处理GUI代理的记忆时存在信息压缩导致重要细节丢失、内存块功能不明确及无关信息干扰等问题。
- FocusMem通过角色感知的内容基础、状态条件的读出和信任门设计，分离了记忆的内容、读取和信任机制，提升了内存的有效性。
- 在五个GUI代理基准测试中，FocusMem的表现持续优于固定内存基线，显示出其在信息保留和决策支持方面的显著提升。
📝 摘要（中文）
GUI代理需要记住早期任务的有用经验和当前交互中的未完成进度。现有方法通常将每个轨迹映射到一个固定的内存块，并主要通过下一个动作的监督进行训练，这导致重要细节在压缩过程中可能丢失、同一内存块需服务于不同决策阶段，以及无关轨迹可能误导代理。为此，本文提出FocusMem，通过角色感知的内容基础、状态条件的读出和轻量级的信任门来分离这些责任，从而提升内存的有效性。实验表明，FocusMem在五个GUI代理基准上均优于固定内存基线和先前的潜在内存适应，显示出有效的潜在记忆不仅依赖于压缩过去的交互，还依赖于保留、暴露和允许的内容。
🔬 方法详解
问题定义：本文旨在解决GUI代理在记忆管理中面临的三个主要问题：信息压缩导致的重要细节丢失、同一内存块服务于不同决策阶段的局限性，以及无关轨迹对决策的误导。
核心思路：FocusMem通过分离内容、读取和信任机制，设计了一个紧凑的潜在内存接口，使得代理能够更有效地管理和利用记忆。角色感知的内容基础帮助保留可重用经验，而状态条件的读出则提供决策特定的视图。
技术框架：FocusMem的整体架构包括三个主要模块：角色感知内容基础、状态条件读出和信任门。内容基础负责存储和管理经验，读出模块根据当前状态生成决策相关的信息，而信任门则过滤掉无关的记忆块。
关键创新：FocusMem的核心创新在于其角色感知的内容基础和状态条件的读出机制，这与现有方法的固定内存块设计形成鲜明对比，能够更灵活地适应不同的决策需求。
关键设计：在设计中，FocusMem采用了轻量级的信任门来抑制无关信息的影响，确保代理在决策时能够依赖于最相关的记忆。此外，训练过程中GUI策略保持冻结，以确保内存模块的独立性和有效性。
🖼️ 关键图片
📊 实验亮点
在五个GUI代理基准测试中，FocusMem的性能持续优于完全匹配的固定内存基线，显示出在信息保留和决策支持方面的显著提升。具体而言，状态条件的读出在周围轨迹上下文增加时表现出更强的鲁棒性，而信任门有效减少了无关信息的干扰。
🎯 应用场景
FocusMem的设计具有广泛的应用潜力，尤其在需要高效记忆管理的领域，如智能助手、游戏AI和人机交互系统等。通过提升代理的记忆能力，该方法能够显著改善用户体验和任务完成效率，未来可能推动更智能的交互系统的发展。
📄 摘要（原文）
GUI agents must remember both useful experience from earlier tasks and unfinished progress in the current interaction. Latent memory offers a compact solution by compressing multimodal trajectories into a few continuous tokens. Existing methods, however, usually map each trajectory to one fixed memory block and train it mainly through next-action supervision. This creates three practical problems: important details may be lost during compression, the same memory block must serve different decision stages, and irrelevant retrieved trajectories may still mislead the agent. We introduce FocusMem, which separates these responsibilities within a compact latent-memory interface. A role-aware content basis encourages episodic memory to retain reusable experience and working memory to retain task progress. A state-conditioned readout generates a decision-specific view of the same stored evidence, while a lightweight trust gate can suppress memory blocks that appear irrelevant to the current step. All components are trained while the GUI policy remains frozen. Across five GUI-agent benchmarks, FocusMem consistently outperforms a fully matched action-only fixed-memory baseline and prior latent memory adaptations. Further analysis shows that semantic and functional supervision preserve complementary information, state-conditioned readout is more robust as surrounding trajectory context grows, and the trust gate reduces the harm caused by injected irrelevant episodic evidence. These results show that effective latent memory depends not only on compressing past interaction, but also on what is retained, what is exposed, and what is allowed.