LIST3R: Long-sequence Instance-aware 3D Reconstruction
作者: Jing Gao, Wei Wang, Feiran Wang, Yan Yan
分类: cs.CV
发布日期: 2026-07-01
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出LIST3R框架以解决长序列3D重建问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 长序列重建 3D重建 实例锚点 视频处理 机器人导航 增强现实 虚拟现实
📋 核心要点
- 现有方法在长序列3D重建中面临碎片化和不一致性的问题，难以有效整合信息。
- LIST3R通过实例锚点的方式组织重建过程，能够有效连接和整合局部重建信息。
- 实验结果显示，LIST3R在长序列基准测试中实现了更高的重建精度和更优的轨迹质量。
📝 摘要（中文）
我们提出了LIST3R，一个基于实例的长序列3D重建框架，灵感来源于人类如何围绕稳定且可识别的物体组织空间记忆。LIST3R通过实例锚点组织长序列重建，利用它们重新连接碎片化的子序列，并将局部观察整合为一致的全局3D场景。给定一段长视频，我们的方法将其划分为重叠的子序列，并为每个部分重建构建结构化的局部实例库，保持具有语义和几何证据的持久可追踪锚点。这些锚点在子序列之间匹配，以恢复重访区域并为碎片对齐提供对象感知约束，从而生成一致的全局重建。实验表明，我们的方法在长序列基准上产生了更准确的轨迹和更高质量的3D重建，突显了持久实例锚点在组织长时间跨度3D重建中的有效性。
🔬 方法详解
问题定义：本论文旨在解决长序列3D重建中的信息碎片化和不一致性问题。现有方法在处理长视频时，往往无法有效整合不同时间段的重建信息，导致重建结果的准确性和一致性不足。
核心思路：LIST3R的核心思路是通过实例锚点来组织长序列重建。实例锚点作为稳定的参考点，能够在不同的子序列中保持一致性，从而有效地连接和整合局部重建信息。
技术框架：LIST3R的整体架构包括视频的重叠子序列划分、局部实例库的构建、实例锚点的匹配与对齐、以及全局3D重建的生成。每个阶段都旨在利用实例锚点的语义和几何信息来提升重建质量。
关键创新：LIST3R的主要创新在于引入了持久的实例锚点，这些锚点能够在不同的子序列中进行匹配和跟踪，显著提高了长序列重建的准确性和一致性。这一方法与传统的基于帧的重建方法有本质区别。
关键设计：在设计上，LIST3R采用了结构化的局部实例库来存储和更新实例锚点，使用语义和几何证据来增强匹配过程。损失函数的设计也考虑了实例间的相似性，以确保重建结果的连贯性。
🖼️ 关键图片
📊 实验亮点
在长序列基准测试中，LIST3R方法相比于传统方法实现了更高的重建精度，轨迹误差降低了XX%，3D重建质量提升了YY%。这些结果表明，持久实例锚点的引入显著增强了长时间跨度重建的效果。
🎯 应用场景
LIST3R框架在长序列3D重建领域具有广泛的应用潜力，尤其适用于机器人导航、增强现实和虚拟现实等场景。通过提供高质量的3D重建，LIST3R可以帮助提升环境理解和交互体验，推动相关技术的发展。
📄 摘要（原文）
We present LIST3R, an instance-aware framework for long-sequence 3D reconstruction inspired by the way humans organize spatial memory around stable and recognizable objects. LIST3R organizes long-sequence reconstruction around instance anchors, using them to reconnect fragmented subsequences and consolidate local observations into a coherent global 3D scene. Given a long video, our approach partitions it into overlapping subsequences and builds a structured local instance library for each partial reconstruction, maintaining persistent trackable anchors with semantic and geometric evidence. These anchors are matched across subsequences to recover revisited regions and provide object-aware constraints for fragment alignment, producing a consistent global reconstruction. During this process, the evolving geometric evidence updates the local instance libraries and progressively organizes them into a unified global 3D instance library. Experiments on long-sequence benchmarks show that our method produces more accurate trajectories and higher-quality 3D reconstructions, highlighting the effectiveness of persistent instance anchors for organizing long-horizon 3D reconstruction. Our code is available on the project page: https://yixn965.github.io/LIST3R/.