Probing Spatial State Representations in Visual Foundation Models
作者: Baiqiao Yin, Zhongang Cai, Ruisi Wang, Qiwei Liang, Lei Yang, Ziwei Liu
分类: cs.CV, cs.AI
发布日期: 2026-10-29
💡 一句话要点
提出空间状态表示方法以提升视觉基础模型的空间感知能力
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 空间状态表示 视觉基础模型 对象持久性 未来特征预测 目标导向行动
📋 核心要点
- 现有视觉基础模型在空间状态表示方面存在不足，无法有效支持对象持久性和未来特征的预测。
- 本文通过四个空间能力层面研究视觉基础模型，提出使用冻结特征探测器的方法来评估空间状态表示的有效性。
- 实验结果表明，目标依赖的候选选择未能可靠提升行动效用，强调了空间表示在更新和目标导向行动中的重要性。
📝 摘要（中文）
观察者只能看到周围世界的一部分，但必须跟踪当前视野之外的内容。因此，空间感知不仅仅是识别单个图像，它需要一个在自我运动下更新的持久空间状态，并用于指导行动。本文研究视觉基础模型是否提供支持这种状态的表示。通过对静态室内环境的流式自我中心观察，使用冻结特征探测器在四个空间能力层面上进行研究，结果表明，不同任务、网络层和前缀长度下的能力特征各异。可见场景的强读取并不保证准确的对象持久性或未来特征的检索。最后，目标依赖的候选选择并未建立可靠的连续行动效用，这些发现促使我们评估空间表示时，不仅要看能解码出什么信息，还要看这些信息是否在观察之外得以保持、预测性更新，并用于目标导向的行动。
🔬 方法详解
问题定义：本文旨在解决视觉基础模型在空间状态表示方面的不足，特别是在对象持久性和未来特征预测的能力上。现有方法未能有效整合视觉历史和运动信息，导致空间感知能力的局限性。
核心思路：通过分析四个层面的空间能力，本文提出使用冻结特征探测器来评估视觉基础模型的空间状态表示，重点关注空间结构、对象持久性、预测性空间更新和可行动性。
技术框架：研究采用流式自我中心观察的方式，对十种不同的表示进行评估。整体流程包括数据采集、特征提取、能力评估和结果分析，确保全面覆盖各个空间能力层面。
关键创新：本文的创新在于通过多层次的能力分析，揭示了可见场景读取与对象持久性、未来特征预测之间的关系，强调了空间状态在目标导向行动中的重要性。
关键设计：在实验中，采用了不同的网络层和前缀长度进行对比，设计了特定的损失函数以优化空间状态的更新和预测能力，同时确保了对比组的有效性。实验结果显示，目标依赖的候选选择未能显著提升行动效用。
🖼️ 关键图片
📊 实验亮点
实验结果显示，尽管可见场景的强读取能力存在，但对象持久性和未来特征检索的准确性并未得到保证。目标依赖的候选选择未能显著提升行动效用，强调了空间表示在动态环境中的重要性。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、自动驾驶、增强现实等场景，能够提升系统在复杂环境中的空间感知和决策能力。未来可能推动智能体在动态环境中更有效地进行目标导向的行动，具有重要的实际价值。
📄 摘要（原文）
An observer sees only part of the surrounding world, yet must keep track of what lies beyond the current view. Spatial perception therefore involves more than recognizing individual images: it calls for a persistent spatial state that is updated under self-motion and used to guide action. Do visual foundation models provide representations that support such a state? We study this question through four levels of spatial capability---spatial structure, object persistence, predictive spatial update, and actionability---using frozen-feature probes on ten representations under streaming egocentric observations of static indoor environments. The resulting capability profiles vary across tasks, network layers, and prefix lengths: strong readout of the visible scene does not ensure accurate object persistence or future-feature retrieval. Matched controls separate readout accuracy from reliance on visual history and motion. Native future prediction retains recoverable spatial structure, but a spatial reader trained on real features does not transfer to predicted features unchanged. Finally, goal-dependent candidate selection does not establish reliable continuous action utility: predicted actions respond to goal changes, yet supplying the correct goal does not reliably improve progress. Across the four levels, object persistence and actionability build on camera-pose readout, whereas feature prediction builds on visible-scene readout. Together, these findings motivate evaluating spatial representations not only by what can be decoded from them, but by whether that information is maintained beyond observation, updated predictively, and used for goal-directed action.