StreamSplat: Streaming Feed-Forward 3D Gaussian Splatting

📄 arXiv: 2608.01659v1 📥 PDF

作者: Changhao Song, Yuxuan Wang, Qibiao Li, Youcheng Cai, Ligang Liu

分类: cs.CV

发布日期: 2026-08-03

💡 一句话要点

提出StreamSplat以解决在线3D场景更新问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯点云 新视角合成 在线场景更新 体素对齐 因果缓存 深度指导 特征注入

📋 核心要点

  1. 现有的3D高斯点云合成方法通常依赖于固定的视图集，无法有效处理在线场景更新，限制了其实用性。
  2. StreamSplat通过增量维护几何场景状态，利用体素对齐因果缓存和历史投影深度锚定等技术，解决了在线更新的问题。
  3. 在多个数据集上，StreamSplat在处理长输入流时表现出色，显著提高了新视角合成的质量，超越了传统方法的内存限制。

📝 摘要（中文）

前馈3D高斯点云技术能够高效地进行新视角合成，但现有方法通常假设固定的上下文视图并共同处理，这限制了其在在线场景中的应用。本文提出了StreamSplat，一个流式前馈3D高斯点云框架，能够增量地维护持久的几何场景状态，并在每个输入块后解码为可渲染的3D高斯。StreamSplat的核心是体素对齐因果缓存（VACC），它以内存受限的体素结构存储历史3D标记，从而使内存随着探索的场景几何而增长。通过历史投影深度锚定（HPDA）和缓存引导特征注入（CGFI），该方法在因果预测中更好地重用历史信息。实验结果表明，StreamSplat在稀疏因果输入下与最先进的前馈3D高斯点云方法竞争力强，并且在长输入流中表现优异。

🔬 方法详解

问题定义：本文旨在解决现有前馈3D高斯点云合成方法在在线场景更新中的局限性，尤其是固定视图集导致的内存不足和实时性问题。

核心思路：StreamSplat通过增量更新几何场景状态，允许系统在接收新视图时逐步解码为可渲染的3D高斯，避免了全场景优化的需求。

技术框架：该方法的整体架构包括体素对齐因果缓存（VACC）、历史投影深度锚定（HPDA）和缓存引导特征注入（CGFI）三个主要模块，分别负责存储历史信息、提供深度指导和增强特征回归。

关键创新：StreamSplat的核心创新在于VACC的设计，使得内存使用与场景几何的复杂度相关，而非输入流的长度，从而提高了系统的可扩展性。

关键设计：在技术细节上，VACC采用内存受限的体素结构，HPDA通过历史几何信息提供深度指导，CGFI则将缓存的潜在证据注入到高斯标记回归中，以提高预测精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在DL3DV、RealEstate10K和ScanNet等数据集上的实验表明，StreamSplat在处理256、512和1024个视图的长输入流时，能够持续提高新视角合成质量，超越了固定视图基线，显示出显著的内存效率和性能提升。

🎯 应用场景

该研究在虚拟现实、增强现实和机器人导航等领域具有广泛的应用潜力。通过实时更新和合成新视角，StreamSplat能够提升用户体验和系统的智能化水平，推动相关技术的发展。

📄 摘要（原文）

Feed-forward 3D Gaussian Splatting enables efficient novel-view synthesis without per-scene optimization, but most existing methods assume a fixed set of context views and process them jointly. This limits their applicability to online scenarios where calibrated views arrive sequentially and the scene must be updated causally. We present \emph{StreamSplat}, a streaming feed-forward 3DGS framework that incrementally maintains a persistent geometry-grounded scene state and decodes it into renderable 3D Gaussians after each input chunk. StreamSplat centers on a \textbf{Voxel-Aligned Causal Cache (VACC)}, which stores historical 3D tokens in a memory-bounded voxel structure so that memory grows with explored scene geometry rather than stream length. To better reuse history during causal prediction, we introduce \textbf{History-Projected Depth Anchoring (HPDA)} to project cached geometry as depth guidance for current cost-volume estimation, and \textbf{Cache-Guided Feature Injection (CGFI)} to inject cached latent evidence into Gaussian-token regression. Experiments on DL3DV, RealEstate10K, and ScanNet show that StreamSplat remains competitive with state-of-the-art feed-forward 3DGS methods under sparse causal inputs, despite not using future views or full-scene context. More importantly, it scales to long input streams with 256, 512, and 1024 views where fixed-view baselines run out of memory, yielding sustained improvements in novel-view synthesis quality as more observations arrive. The code will be made publicly available upon acceptance.