Imprint: Online Memory Compression for Long-Horizon Egocentric QA

📄 arXiv: 2607.00696v1 📥 PDF

作者: Kousik Das, Debaditya Roy

分类: cs.CV

发布日期: 2026-07-01

💡 一句话要点

提出Imprint以解决长时间跨度自我中心问答中的记忆压缩问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 长时间跨度问答 记忆压缩 交互记录 自我中心学习 在线学习

📋 核心要点

  1. 现有的长时间跨度自我中心问答方法在记忆表示上存在不足，难以有效聚合长时间证据。
  2. Imprint框架通过将记忆压缩视为在线问题，利用交互记录和记忆巩固信号来优化记忆保留。
  3. 在EgoLifeQA基准上，Imprint将问答准确率从31.0%提升至35.8%，并显著减少了内存占用和检索延迟。

📝 摘要（中文）

长时间跨度的自我中心问答涉及回答数小时或数天前发生的事件。这需要在记录数天或数周的情况下，保持有效的检索和可扩展的记忆表示。现有方法通过层次化的文本摘要构建记忆，虽然有效地减少了记忆大小，但在检索方面存在不足。本文提出Imprint，一个以交互为中心的记忆框架，将长时间跨度的自我中心记忆视为在线记忆压缩问题。Imprint通过结构化的交互记录来表示观察，并根据人类记忆的巩固信号选择性地保留和压缩交互，显著提高了问答准确性和检索效率。

🔬 方法详解

问题定义：本文旨在解决长时间跨度自我中心问答中的记忆压缩问题。现有方法通过文本摘要来构建记忆，导致重复交互被粗略描述吸收，难以进行有效的证据聚合。

核心思路：Imprint框架将长时间跨度的自我中心记忆视为在线记忆压缩问题，而非简单的摘要。通过结构化的交互记录，Imprint能够持续组织和压缩交互模式，优化检索效果。

技术框架：Imprint的整体架构包括三个主要模块：交互记录的生成、交互模式的组织和记忆的选择性压缩。每个模块都利用人类记忆的巩固信号，如重复性、近期性和独特性。

关键创新：Imprint的核心创新在于其交互中心的记忆框架，强调记忆的压缩而非摘要，保留了重要的交互信息，使得长时间跨度的证据聚合变得更加高效。

关键设计：在设计中，Imprint采用了结构化的交互记录，使用特定的参数设置来优化记忆的保留和压缩过程，确保在减少内存占用的同时提高检索效率。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Imprint在EgoLifeQA基准上的实验结果显示，问答准确率从31.0%提升至35.8%，证据基础答案数量增加了6倍，内存占用减少了2.3倍，检索延迟降低了11.8倍。这些结果表明，记忆压缩为长时间跨度自我中心问答提供了可扩展且高效的基础。

🎯 应用场景

该研究的潜在应用领域包括智能助理、社交媒体分析和人机交互等。通过提高长时间跨度问答的准确性和效率，Imprint能够为用户提供更为精准和及时的信息检索服务，具有重要的实际价值和未来影响。

📄 摘要（原文）

Long-horizon egocentric question answering involves answering about events that have occurred hours or days in the past. This requires memory representations that remain both retrieval-effective and scalable over days or weeks of recording. Existing long-horizon egocentric QA methods construct memory as hierarchical textual summaries of observations. While effective for reducing memory size, summarization optimizes for descriptive compression rather than retrieval: repeated interactions are absorbed into coarse textual descriptions instead of being preserved as explicit, recurring memory units, making long-horizon evidence aggregation difficult. We propose Imprint, an interaction-centric memory framework that formulates long-horizon egocentric memory as an online memory compression problem rather than summarization. Incoming observations are first represented as structured Interaction Records and continuously organized into recurring interaction patterns. Using human memory consolidation signals of recurrence, recency, and distinctiveness, Imprint selectively retains and compresses interactions into a compact retrieval-oriented memory. We evaluate Imprint on EgoLifeQA, a seven-day egocentric benchmark containing questions that require reasoning over interactions occurring hours to days before the query. With the same LLM, Imprint improves QA accuracy from 31.0% to 35.8%, increases evidence-grounded answers by $6\times$ compared with EgoRAG, reduces memory footprint by $2.3\times$, and decreases retrieval latency by $11.8\times$. These results demonstrate that memory compression provides a scalable and retrieval-effective foundation for long-horizon egocentric question answering.