OctreeSplat: Hierarchical Octree-Guided Feed-Forward Gaussian Splatting
作者: Yibin Zhao, Yihan Pan, Wenli Yang, Jun Nan, Jianjun Yi
分类: cs.CV
发布日期: 2026-11-02
💡 一句话要点
提出OctreeSplat以解决3D重建中的高效高质量问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 3D重建 高斯点云 新视角合成 层次化八叉树 计算机视觉 深度学习
📋 核心要点
- 现有的前馈方法在3D重建中因固定分辨率而无法有效分配原始体素，导致性能受限。
- OctreeSplat通过构建层次化八叉树和提取多视角特征，动态分配高斯原始体素以适应局部复杂性。
- 在多个数据集上，OctreeSplat展示了优越的RGB视图合成和深度合成性能，同时减少了高斯原始体素的数量。
📝 摘要（中文）
3D Gaussian Splatting（3DGS）在新视角合成和3D重建中展现出显著潜力。现有的前馈方法由于固定的图像或空间分辨率，限制了其根据局部复杂性分配原始体素的能力。本文提出了OctreeSplat，一种层次化的八叉树引导的前馈高斯点云表示。OctreeSplat从冻结的视觉基础模型中提取多视角特征和几何先验，构建层次化八叉树，并预测稠密化分数。该表示根据局部复杂性在空间上变化地分配高斯原始体素。随机固体体积渲染改善了深度渲染，增强了几何监督，并支持表面重建。当相机参数可用时，选用的测试时优化模块提高了预测参数与真实参数之间的一致性。实验表明，OctreeSplat在多个数据集上实现了竞争力的RGB视图合成、深度合成和表面重建，同时减少了高斯原始体素的数量，保持了高重建质量。
🔬 方法详解
问题定义：本文旨在解决现有前馈方法在3D重建中因固定图像或空间分辨率而导致的原始体素分配效率低下的问题。
核心思路：OctreeSplat通过构建层次化八叉树，结合多视角特征和几何先验，动态调整高斯原始体素的分配，以适应不同区域的复杂性。
技术框架：整体架构包括特征提取模块、八叉树构建模块和高斯原始体素分配模块。特征提取模块从冻结的视觉基础模型中获取多视角信息，八叉树模块则根据这些信息构建层次化结构。
关键创新：OctreeSplat的创新在于其层次化的八叉树结构和动态的高斯原始体素分配策略，使得在保持高重建质量的同时，显著减少了所需的高斯原始体素数量。
关键设计：训练过程中仅更新7600万额外参数，且训练时间为35 GPU小时。损失函数设计考虑了几何监督和深度渲染的优化，确保了模型的高效性与准确性。
🖼️ 关键图片
📊 实验亮点
在Replica、TUM、Tanks and Temples和DTU等多个数据集上，OctreeSplat实现了竞争力的RGB视图合成和深度合成性能，且在高斯原始体素数量上减少了显著，保持了高重建质量，显示出其在3D重建领域的优势。
🎯 应用场景
OctreeSplat在新视角合成、3D重建和计算机视觉领域具有广泛的应用潜力。其高效的高斯点云表示方法可用于虚拟现实、增强现实和自动驾驶等场景，提升了这些领域的视觉表现和用户体验。未来，该技术可能推动更高效的三维场景理解和重建方法的发展。
📄 摘要（原文）
3D Gaussian Splatting (3DGS) has shown considerable potential for novel view synthesis (NVS) and 3D reconstruction. Feed-forward methods avoid costly per-scene optimization, but fixed image or spatial resolutions limit their ability to allocate primitives according to local complexity. We present OctreeSplat, a hierarchical octree-guided feed-forward Gaussian splatting. OctreeSplat extracts multi-view features and geometric priors from a frozen visual foundation model (VFM), constructs a hierarchical octree, and predicts densification scores. The resulting representation allocates Gaussian primitives at spatially varying densities according to local complexity. Stochastic solids volume rendering improves depth rendering, strengthens geometric supervision, and supports surface reconstruction. When camera parameters are available, an optional test-time optimization (TTO) module improves agreement between predicted and ground-truth parameters. Training updates only 76 million additional parameters and requires 35 GPU-hours. Experiments on Replica, TUM, Tanks and Temples, and DTU demonstrate competitive RGB view synthesis, depth synthesis, and surface reconstruction. OctreeSplat reduces the number of Gaussian primitives while maintaining high reconstruction quality.