Mamba3R: Fixed-Capacity Selective State Memory for Long-Sequence 3D Reconstruction
作者: Zhenxiang Xiong, Tianchen Deng, Nailin Wang, Lei Zhao, Guole Shen, Weidong Che
分类: cs.CV
发布日期: 2026-11-03
备注: 12 pages, 4 figures, 8 tables. The supplementary material referenced in the text is not included in this version
💡 一句话要点
提出Mamba3R以解决长序列3D重建的内存限制问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 长序列重建 状态记忆 3D重建 流媒体处理 深度学习
📋 核心要点
- 现有的流媒体3D重建方法在处理长输入时，难以在固定的GPU预算内保持几何质量，导致性能下降。
- Mamba3R通过引入可训练的状态记忆适配器，允许在不更新主干网络的情况下，灵活调整状态观察交互，提升重建质量。
- 在实验中，Mamba3R在多个数据集上显著降低了轨迹误差，并在表面和深度准确性上实现了高达40%的提升。
📝 摘要（中文）
流媒体3D重建必须在固定的GPU预算内保持几何质量，现有的预训练递归模型虽然提供了有界状态，但其固定的状态观察交互限制了灵活性。本文提出Mamba3R，一个联合设计的状态记忆适配器，提供可训练的适应路径而不更新主干网络或任务头。该方法通过选择性状态空间混合器联合转换原生状态特征和固定容量的辅助记忆，显式的读写路径在帧间传递信息，分解的反馈路径调节添加的记忆反馈。实验表明，该方法在公共室内外数据集和机器人记录的轨迹上，降低了轨迹误差，提高了表面和深度的准确性，某一指标提升幅度可达40%。
🔬 方法详解
问题定义：本文旨在解决流媒体3D重建在长序列输入下的几何质量保持问题。现有方法依赖固定的状态观察交互，限制了其适应性和性能。
核心思路：Mamba3R的核心思路是通过引入一个可训练的状态记忆适配器，提供灵活的状态适应路径，而不需要更新主干网络或任务头，从而提升重建效果。
技术框架：Mamba3R的整体架构包括一个选择性状态空间混合器、固定容量的辅助记忆、显式的读写路径和分解的反馈路径。这些模块共同工作，确保信息在帧间有效传递。
关键创新：Mamba3R的主要创新在于其状态记忆适配器的设计，允许在固定的内存容量下，通过选择性混合和反馈机制，动态调整状态信息的使用，与传统方法相比，显著提升了性能。
关键设计：该方法仅训练1.28百万个适配器参数，采用共享的周期重置协议，确保内存分配不变，且在处理从一帧到两千帧的过程中，吞吐量变化不超过1.4%。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Mamba3R在公共数据集和机器人记录的轨迹上，降低了轨迹误差，并在表面和深度准确性上提升了高达40%。在相同检查点下，RTX 4060平台以5.1 GiB的内存平均实现11.7帧每秒的吞吐量，满足10 Hz传感器速率。
🎯 应用场景
Mamba3R在长序列3D重建中的应用潜力巨大，适用于机器人导航、虚拟现实、增强现实等领域。其高效的状态记忆管理能够在资源受限的环境中实现高质量的三维重建，具有重要的实际价值和未来影响。
📄 摘要（原文）
Streaming 3D reconstruction must maintain geometric quality over long inputs within a fixed GPU budget. A pretrained recurrent model provides bounded state, but freezing its backbone also fixes its learned state-observation interactions. We introduce Mamba3R, a jointly designed state-memory adapter that provides a trainable adaptation path without updating the backbone or task heads. A selective state-space mixer jointly transforms native state features and a fixed-capacity auxiliary memory, explicit read and write paths carry information across frames, and a decomposed feedback path regulates what the added memory feeds back. Only 1.28 million adapter parameters are trained. Under a shared periodic-reset protocol, it lowers trajectory error and improves accumulated surface and depth accuracy over recurrent baselines on public indoor and outdoor datasets and robot-recorded traversals, gaining up to 40 percent on one metric. Matched comparisons support both the choice of the mixing operator and the utility of carrying the auxiliary memory across frames. Allocated memory remains unchanged and throughput moves by at most 1.4 percent from one to two thousand frames. Replaying its recorded traversals offline, the platform's RTX 4060 averages 11.7 frames per second within 5.1 GiB with the same checkpoint, a mean throughput covering the 10 Hz sensor rate.