HAC: Hash-grid Assisted Context for 3D Gaussian Splatting Compression

📄 arXiv: 2403.14530v3 📥 PDF

作者: Yihang Chen, Qianyi Wu, Weiyao Lin, Mehrtash Harandi, Jianfei Cai

分类: cs.CV

发布日期: 2024-03-21 (更新: 2024-07-12)

备注: Project Page: https://yihangchen-ee.github.io/project_hac/ Code: https://github.com/YihangChen-ee/HAC

期刊: ECCV 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出HAC框架以解决3D高斯点云压缩问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯点云 压缩技术 哈希网 上下文建模 计算机视觉 虚拟现实 增强现实

📋 核心要点

  1. 现有的3D高斯点云压缩方法在处理稀疏和无序的点云时面临挑战，导致压缩效率低下。
  2. 本文提出的HAC框架利用哈希网与无序锚点的关系，通过上下文建模实现高效压缩。
  3. 实验表明，HAC在尺寸缩减上超过75倍，并在保真度上有显著提升，相较于现有方法表现优异。

📝 摘要（中文）

3D高斯点云（3DGS）作为一种新兴的视图合成框架，具有快速渲染和高保真度的优点。然而，庞大的高斯点及其属性需要有效的压缩技术。由于高斯点云的稀疏和无序特性，压缩面临挑战。为此，本文提出了一种哈希网辅助上下文（HAC）框架，通过利用无序锚点与结构化哈希网之间的关系，进行上下文建模，从而实现高效的3DGS表示。该方法引入二进制哈希网以建立空间一致性，并通过设计的上下文模型揭示锚点的空间关系。实验结果显示，与传统3DGS相比，HAC实现了超过75倍的尺寸缩减，同时提高了保真度。

🔬 方法详解

问题定义：本文旨在解决3D高斯点云（3DGS）压缩中的稀疏和无序特性带来的挑战，现有方法在压缩效率和保真度上存在不足。

核心思路：HAC框架通过引入哈希网来建立锚点之间的空间一致性，利用上下文建模来提升压缩效果，从而实现高效的3DGS表示。

技术框架：HAC框架主要包括二进制哈希网、上下文模型、适应性量化模块和自适应掩蔽策略等模块，整体流程为：首先通过哈希网建立空间关系，然后进行上下文建模和属性量化，最后进行无效高斯点的剔除。

关键创新：HAC是首个探索基于上下文的3DGS压缩方法，显著提高了压缩比和保真度，尤其在与传统方法对比时，表现出明显的优势。

关键设计：在设计中，采用了适应性量化模块以实现高精度的属性量化，并通过高斯分布来准确估计量化属性的概率，确保了压缩后的数据能有效恢复原始信息。还引入了自适应掩蔽策略以去除无效的高斯点和锚点。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HAC框架在实验中实现了超过75倍的尺寸缩减，相较于传统3DGS方法，保真度显著提升。同时，与现有最先进的3DGS压缩方法Scaffold-GS相比，HAC也实现了超过11倍的尺寸缩减，展示了其在压缩效率和质量恢复上的优越性。

🎯 应用场景

该研究的HAC框架在计算机视觉和图形学领域具有广泛的应用潜力，尤其是在虚拟现实、增强现实和游戏开发中，能够有效提升3D场景的渲染效率和质量。未来，HAC还可能在自动驾驶、机器人导航等领域发挥重要作用，推动相关技术的发展。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has emerged as a promising framework for novel view synthesis, boasting rapid rendering speed with high fidelity. However, the substantial Gaussians and their associated attributes necessitate effective compression techniques. Nevertheless, the sparse and unorganized nature of the point cloud of Gaussians (or anchors in our paper) presents challenges for compression. To address this, we make use of the relations between the unorganized anchors and the structured hash grid, leveraging their mutual information for context modeling, and propose a Hash-grid Assisted Context (HAC) framework for highly compact 3DGS representation. Our approach introduces a binary hash grid to establish continuous spatial consistencies, allowing us to unveil the inherent spatial relations of anchors through a carefully designed context model. To facilitate entropy coding, we utilize Gaussian distributions to accurately estimate the probability of each quantized attribute, where an adaptive quantization module is proposed to enable high-precision quantization of these attributes for improved fidelity restoration. Additionally, we incorporate an adaptive masking strategy to eliminate invalid Gaussians and anchors. Importantly, our work is the pioneer to explore context-based compression for 3DGS representation, resulting in a remarkable size reduction of over $75\times$ compared to vanilla 3DGS, while simultaneously improving fidelity, and achieving over $11\times$ size reduction over SOTA 3DGS compression approach Scaffold-GS. Our code is available here: https://github.com/YihangChen-ee/HAC