LT-Mem: Volatility-Aware Spatio-Temporal Memory for Lifelong Scene Understanding
作者: Yumin Lee, Hyoseok Ju, Giseop Kim
分类: cs.RO, cs.CV
发布日期: 2026-08-19
备注: 8 pages, 8 figures, 6 tables. Accepted to the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026)
💡 一句话要点
提出LT-Mem以解决机器人长期操作中的对象历史丢失问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 长期场景理解 对象识别 记忆演化 多会话SLAM 波动感知 三重记忆结构 时间推理 机器人技术
📋 核心要点
- 现有方法在长期操作中无法有效维护对象的历史信息，导致时间遗忘现象。
- LT-Mem通过波动感知的记忆演化框架，结合空间对齐的3D感知与时间推理，解决了对象身份一致性问题。
- 实验结果显示LT-Mem在各项指标上均优于基线，且令牌消耗显著降低，验证了其有效性。
📝 摘要（中文）
长期在不断变化的环境中进行机器人操作需要对象级的理解，能够在多次重访中保持一致性。现有系统要么通过覆盖历史来维护最新地图，要么存储语义快照而缺乏跨会话的一致性，导致时间遗忘。本文提出LT-Mem，一个基于波动性的记忆演化框架，统一了空间对齐的实例级3D感知与波动条件的时间推理。通过多会话SLAM提供空间对齐的对象观察，推理层管理对象记忆的演变，最终形成的Tri-Memory结构能够支持长期的对象中心推理。实验表明LT-Mem在各项指标上均优于基线，同时消耗的令牌数量减少了一个数量级。
🔬 方法详解
问题定义：本文旨在解决机器人在长期操作中对对象历史信息的维护问题，现有方法存在覆盖历史或缺乏一致性的缺陷，导致无法回答对象的历史位置等问题。
核心思路：LT-Mem通过引入波动感知的记忆演化框架，结合空间对齐的3D感知与时间推理，确保对象在多次会话中的身份一致性和历史信息的保留。
技术框架：LT-Mem的整体架构包括三个主要模块：多会话SLAM提供空间对齐的对象观察，推理层管理对象记忆的演变，最终形成Tri-Memory结构（Live, Delta, Meta）以支持对象中心的长期推理。
关键创新：LT-Mem的核心创新在于其波动感知的记忆演化策略，能够根据对象的动态选择覆盖、保持或多假设的操作，从而有效维护对象的历史信息。
关键设计：在设计中，采用了确定性证据评分来保留跨会话的身份一致性，此外，Tri-Memory结构的设计使得当前状态和事件历史得以同时保存，支持复杂的时间推理任务。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LT-Mem在所有评估指标上均显著优于基线方法，且在令牌消耗上减少了一个数量级，显示出其高效性和实用性。通过消除时间遗忘，LT-Mem为长期场景理解提供了新的解决方案。
🎯 应用场景
LT-Mem的研究成果在机器人导航、智能家居和自动化仓储等领域具有广泛的应用潜力。通过实现对象历史信息的有效管理，机器人能够更好地理解和适应动态环境，提高其自主决策能力和服务质量，未来可能推动智能机器人在复杂场景中的应用。
📄 摘要（原文）
Long-term robot operation in evolving environments requires object-level understanding that persists across repeated revisits. Existing systems either overwrite history to maintain an up-to-date map or store semantic snapshots without consistent cross-session object identity, resulting in temporal amnesia: the systematic loss of object history that prevents answering queries such as "Where has the green chair been across all sessions?" We propose LT-Mem, a volatility-aware memory evolution framework that unifies spatially aligned instance-level 3D perception with volatility-conditioned temporal reasoning. First, a multi-session SLAM backbone provides spatially aligned per-object observations across sessions. Second, a reasoning layer governs how object memory evolves: deterministic evidence scoring preserves cross-session identity, and a volatility-aware policy selects among overwrite, hold, and multi-hypothesis actions based on each object's dynamics. Third, the resulting Tri-Memory structure (Live, Delta, Meta) preserves both current states and event histories, enabling longitudinal object-centric reasoning. We further introduce LT-VQA, a dataset and evaluation suite comprising multi-session recordings, persistent identity annotations, and temporal QA pairs. Experiments show that LT-Mem consistently outperforms baselines across all metrics while consuming an order of magnitude fewer tokens, and ablations confirm that gains are driven by the structured memory architecture rather than LLM capacity.