Spatial Memory for AR Glasses: Hierarchical Visual Acquisition and Source-Linked Recall
作者: Tianxing Zhu, Dan Huang
分类: cs.AI
发布日期: 2026-11-03
💡 一句话要点
提出空间记忆系统以增强AR眼镜的历史回忆能力
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 空间记忆 增强现实 视觉获取 信息检索 源链接存储 AR眼镜 历史回忆
📋 核心要点
- 现有AR系统在回忆历史场景时面临信息缺失和检索效率低的问题。
- 提出的空间记忆系统通过分层视觉获取和源链接存储来解决这些问题，增强了AR眼镜的回忆能力。
- 实验结果表明，该系统在131.35秒的自我中心重放中，从648个监测观察中选择了六个RGB视图，展示了选择性RGB获取的有效性。
📝 摘要（中文）
本文提出了一种空间记忆系统，使光学透视AR眼镜能够回忆早期的物理接触。该双摄像头原型结合了分层视觉获取、源链接存储和分阶段检索。质量筛选、全局和区域外观新颖性以及时间支持选择单色观察以进行详细的RGB捕获。语义观察保留与源图像的链接，允许检索直接回答索引的历史问题或检查场景描述中省略的视觉细节。该架构将捕获接受、解释结果和特定问题的支持分开，激励了两种核心控制机制：在早期处理留下证据缺口时对熟悉视图的有限重新评估，以及由源依赖指导的保留。系统为持久的AR辅助提供了实用的获取到回忆架构，明确区分了捕获的证据、索引的解释和支持的历史主张。
🔬 方法详解
问题定义：本文旨在解决现有AR系统在历史场景回忆中的信息缺失和检索效率低下的问题。现有方法往往无法有效链接视觉信息与其源图像，导致用户在回忆时面临困难。
核心思路：论文提出的空间记忆系统通过结合分层视觉获取和源链接存储，允许AR眼镜在用户与环境的交互中有效记录和回忆信息。这样的设计使得系统能够在需要时快速检索相关的历史视觉信息。
技术框架：系统整体架构包括三个主要模块：捕获接受、解释结果和支持特定问题。捕获模块负责选择和记录视觉信息，解释模块则处理这些信息并生成可索引的结果，最后支持模块提供对历史问题的回答。
关键创新：该系统的核心创新在于引入了源链接存储机制，使得语义观察能够与源图像保持关联，从而实现更高效的历史信息检索。这一机制与传统方法的直接视觉记录方式形成了本质区别。
关键设计：在技术细节方面，系统采用了质量筛选和时间支持机制，以优化RGB捕获的选择。此外，系统还实现了对熟悉视图的有限重新评估，以填补早期处理中的证据缺口。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在131.35秒的自我中心重放中，系统从648个监测观察中成功选择了六个RGB视图，特征提取在97.7%的观察中运行。这表明该系统在选择性RGB获取方面表现出色，并识别出频繁的局部推理作为剩余成本。
🎯 应用场景
该研究的潜在应用领域包括增强现实（AR）导航、教育培训和历史场景重现等。通过提高AR眼镜的记忆和检索能力，用户能够更好地与环境互动，获取更丰富的上下文信息，提升使用体验。未来，该技术有望在智能城市、博物馆导览等场景中发挥重要作用。
📄 摘要（原文）
We present a spatial-memory system that enables optical see-through AR glasses to recall earlier physical encounters. The dual-camera prototype combines hierarchical visual acquisition with source-linked storage and staged retrieval. Quality screen-ing, global and regional appearance novelty, and temporal support select monochrome observations for detailed RGB cap-ture. Semantic observations retain links to their source images, allowing retrieval to answer indexed historical questions direct-ly or inspect visual details omitted from scene descriptions. The architecture separates capture acceptance, interpretation out-come, and support for a particular question. This distinction motivates two core control mechanisms: bounded reassessment of familiar views when earlier processing leaves an evidence gap, and retention guided by source dependencies. In a 131.35 s egocentric replay, the implemented acquisition policy selected six RGB views from 648 monitoring observations, while feature extraction ran on 97.7% of observations. These results demon-strate selective RGB acquisition and identify frequent local inference as a remaining cost. Exposure duration and cross-view timing further constrain the evidence preserved from se-lected encounters. The system provides a practical acquisition-to-recall architecture for persistent AR assistance, with explicit boundaries between captured evidence, indexed interpretations, and supported historical claims.