CompGS: Smaller and Faster Gaussian Splatting with Vector Quantization

📄 arXiv: 2311.18159v3 📥 PDF

作者: KL Navaneet, Kossar Pourahmadi Meibodi, Soroush Abbasi Koohpayegani, Hamed Pirsiavash

分类: cs.CV

发布日期: 2023-11-30 (更新: 2024-09-26)

备注: Code is available at https://github.com/UCDvision/compact3d

💡 一句话要点

提出CompGS以解决3D高斯点云存储与渲染效率问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯点云 向量量化 存储优化 渲染效率 计算机图形学 虚拟现实 深度学习

📋 核心要点

  1. 现有的3D高斯点云方法在存储需求上较高，导致实际应用受限。
  2. 本文通过K均值向量量化优化高斯参数，减少存储需求并提高渲染速度。
  3. 实验结果显示，CompGS在存储和渲染时间上分别降低40-50倍和2-3倍，效果显著。

📝 摘要（中文）

3D高斯点云（3DGS）是一种新兴的3D辐射场建模与渲染方法，相较于最先进的NeRF方法，其学习与渲染速度显著提升。然而，3DGS在存储需求上却远高于NeRF，因为需要存储多个3D高斯的参数。为此，本文提出了一种基于K均值的简单向量量化方法，以优化高斯参数并减少存储需求。通过构建小型代码本并存储每个高斯的索引，进一步压缩索引并使用类似于游程编码的方法，显著降低存储和渲染时间。实验结果表明，该方法在标准基准测试及更大规模数据集上，存储成本降低40至50倍，渲染时间减少2至3倍，且图像质量仅有微小下降。

🔬 方法详解

问题定义：本文旨在解决3D高斯点云方法在存储需求和渲染效率上的不足，现有方法需要存储大量高斯参数，导致存储成本高昂。

核心思路：通过引入K均值向量量化技术，优化高斯参数的存储方式，减少冗余数据，从而降低存储需求和提高渲染速度。

技术框架：整体方法包括高斯参数的量化、索引存储、索引压缩和正则化四个主要模块。首先对高斯参数进行量化，然后存储索引并进行压缩，最后通过正则化减少不透明高斯的数量。

关键创新：本文的主要创新在于结合向量量化与正则化技术，显著降低了存储需求和渲染时间，与传统方法相比，存储效率提升了数十倍。

关键设计：在参数设置上，采用K均值算法进行高斯参数的量化，并使用类似游程编码的方法对索引进行压缩。此外，设计了简单的正则化损失函数，以鼓励高斯的透明度，进一步减少存储需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CompGS在标准基准测试中存储成本降低了40至50倍，渲染时间减少了2至3倍，且图像质量仅有微小下降。这些结果显示了该方法在实际应用中的显著优势，尤其是在处理大规模3D数据集时。

🎯 应用场景

该研究在3D建模、虚拟现实和计算机图形学等领域具有广泛的应用潜力。通过降低存储和渲染成本，CompGS可以推动实时3D渲染技术的发展，使得更复杂的场景能够在资源有限的设备上流畅运行，具有重要的实际价值和未来影响。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) is a new method for modeling and rendering 3D radiance fields that achieves much faster learning and rendering time compared to SOTA NeRF methods. However, it comes with a drawback in the much larger storage demand compared to NeRF methods since it needs to store the parameters for several 3D Gaussians. We notice that many Gaussians may share similar parameters, so we introduce a simple vector quantization method based on K-means to quantize the Gaussian parameters while optimizing them. Then, we store the small codebook along with the index of the code for each Gaussian. We compress the indices further by sorting them and using a method similar to run-length encoding. Moreover, we use a simple regularizer to encourage zero opacity (invisible Gaussians) to reduce the storage and rendering time by a large factor through reducing the number of Gaussians. We do extensive experiments on standard benchmarks as well as an existing 3D dataset that is an order of magnitude larger than the standard benchmarks used in this field. We show that our simple yet effective method can reduce the storage cost for 3DGS by 40 to 50x and rendering time by 2 to 3x with a very small drop in the quality of rendered images.