When Memory Lies: An Empirical Study of Spatial Memory Staleness in VLM Agents
作者: Yushi Sun, Yanjie Zhang
分类: cs.CL
发布日期: 2026-08-05
💡 一句话要点
研究空间记忆过时性以提升VLM代理的安全性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 空间记忆 视觉语言模型 安全性 动态环境 决策系统 记忆审计 导航任务
📋 核心要点
- 现有的VLM代理在环境变化时，记忆信息可能会过时，导致安全隐患和决策错误。
- 论文通过动态测试平台，结合记忆过时性检测与导航任务，探索如何提高代理的决策安全性。
- 实验结果表明，依赖过时记忆的代理在安全性上存在显著风险，而审计机制虽然有帮助，但仍未完全解决问题。
📝 摘要（中文）
本文研究了增强记忆的视觉语言模型（VLM）代理在环境变化时如何处理过时的空间知识。通过动态的FrozenLake测试平台，作者探讨了当代理必须调和自信的记忆声明与相矛盾的观察时的表现。研究发现，文本可解性并不意味着视觉基础的可靠性，且在未审计的情况下使用过时记忆会导致安全隐患。此外，尽管审计有所帮助，但并未完全消除安全风险。这些结果揭示了空间记忆过时性作为安全失败模式的重要性，并指出了在记忆与观察冲突下实现可靠视觉基础和行动选择的挑战。
🔬 方法详解
问题定义：本文旨在解决增强记忆的VLM代理在环境变化时如何处理过时空间知识的问题。现有方法在面对记忆与观察冲突时，往往无法有效识别和处理过时信息，导致安全隐患。
核心思路：论文提出通过动态测试平台结合记忆过时性检测与导航任务，评估代理在不同输入下的表现，旨在提高代理的决策安全性和可靠性。
技术框架：整体架构包括记忆过时性检测模块和导航决策模块。测试平台使用动态环境，代理在执行导航任务时需实时检测记忆的有效性。
关键创新：最重要的创新在于将记忆过时性作为安全失败模式进行系统研究，强调了视觉基础与行动选择在记忆与观察冲突下的挑战。
关键设计：实验中使用了多种模型，包括三种闭源模型和三种开放权重的VLM，设置了1800次检测运行和12000次导航任务，采用了透明的实时过滤器来审计记忆信息。
🖼️ 关键图片
📊 实验亮点
实验结果显示，依赖原始记忆的代理在安全性上表现不佳，死亡率超过未使用记忆的代理两倍。文本模式下的透明审计显著降低了安全成本，但在视觉审计不可靠时，过滤效果不稳定，未能带来一致的收益。
🎯 应用场景
该研究的潜在应用领域包括自主导航系统、智能机器人和增强现实等。通过提高VLM代理在动态环境中的决策安全性，能够有效降低因记忆过时导致的安全风险，推动智能系统在复杂场景中的应用与发展。
📄 摘要（原文）
Memory-augmented VLM agents act on persistent spatial knowledge, yet that knowledge silently goes stale as the environment changes. We ask what happens when an agent must reconcile a confident memory claim with a contradicting observation, and whether current models can catch the conflict before it becomes a safety-relevant mistake. Using a dynamic FrozenLake testbed, we pair a staleness-detection task with a downstream navigation task across three closed-source models and three open-weight VLMs under both text and image inputs (1,800 detection runs, and 12,000 text-mode navigation episodes over four LLM navigators at a shared 50-seed scale). Three findings emerge. First, text solvability does not imply visual grounding: models that flag stale entries reliably from text nonetheless span vision F1 from 0.887 down to 0.067 on the identical grids, and the weakest keeps making fluent, confident decisions that ignore the image. Second, consuming stale memory without an audit is a safety liability: in our primary GPT-4o setting, an agent that trusts raw memory dies more than twice as often as the same agent given no memory at all. Third, auditing helps but does not close the gap: a transparent read-time filter removes much of the safety cost in text mode, yet even oracle stale labels bring no further significant gain on the current grid size, and when visual auditing is unreliable, filtering yields no consistent benefit. Together these results frame spatial-memory staleness as a safety failure mode and isolate reliable visual grounding and action selection under memory--observation conflict as the central open challenges for memory-augmented agents.