GaussianImage: 1000 FPS Image Representation and Compression by 2D Gaussian Splatting

📄 arXiv: 2403.08551v5 📥 PDF

作者: Xinjie Zhang, Xingtong Ge, Tongda Xu, Dailan He, Yan Wang, Hongwei Qin, Guo Lu, Jing Geng, Jun Zhang

分类: eess.IV, cs.AI, cs.CV, cs.MM

发布日期: 2024-03-13 (更新: 2024-07-09)

备注: Accepted by ECCV 2024. Project Page:https://xingtongge.github.io/GaussianImage-page/ Code: https://github.com/Xinjie-Q/GaussianImage

🔗 代码/项目: GITHUB

💡 一句话要点

提出GaussianImage以解决低端设备图像表示与压缩问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 图像表示 压缩技术 高斯点 隐式神经表示 低端设备 实时渲染 向量量化 计算机视觉

📋 核心要点

  1. 现有隐式神经表示方法对GPU资源要求高，限制了在低端设备上的应用。
  2. 提出GaussianImage，通过2D高斯表示图像，并设计新渲染算法以降低内存和提高速度。
  3. 实验表明，该方法在内存使用和渲染速度上显著优于现有方法，且保持高质量的图像表示。

📝 摘要（中文）

隐式神经表示（INRs）在图像表示和压缩方面取得了显著成功，提供了高视觉质量和快速渲染速度（10-1000 FPS），但对GPU资源的高需求限制了其在低端设备上的应用。为此，本文提出了一种基于2D高斯点的图像表示与压缩新范式GaussianImage。我们首先引入2D高斯来表示图像，每个高斯包含8个参数，包括位置、协方差和颜色。随后，我们揭示了一种基于累积求和的新渲染算法。我们的方案在GPU内存使用上至少降低3倍，拟合时间提高5倍，渲染速度达到1500-2000 FPS，且在表示性能上与现有INRs相媲美。实验结果表明，我们的编解码器在率失真性能上可与COIN和COIN++相媲美，同时解码速度约为2000 FPS。

🔬 方法详解

问题定义：本文旨在解决隐式神经表示在低端设备上应用受限的问题，现有方法对GPU资源的高需求使得其难以普及。

核心思路：通过引入2D高斯表示图像，利用每个高斯的8个参数（位置、协方差和颜色）来实现高效的图像表示与压缩，设计新渲染算法以降低内存占用和提高渲染速度。

技术框架：整体架构包括高斯表示模块、渲染算法模块和图像编解码器模块。高斯表示模块负责将图像转化为高斯点，渲染算法模块通过累积求和实现快速渲染，编解码器模块则利用向量量化技术进行图像压缩。

关键创新：最重要的创新在于引入2D高斯点作为图像表示方式，并通过新的渲染算法显著降低GPU内存使用和提高渲染速度，这与现有INRs方法有本质区别。

关键设计：在参数设置上，采用8个高斯参数来描述图像特征，损失函数设计为优化图像重建质量，网络结构上则结合了高斯点的特性以实现高效的图像表示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GaussianImage在GPU内存使用上至少降低3倍，拟合时间提高5倍，渲染速度达到1500-2000 FPS，且在图像表示性能上与COIN和COIN++相当，解码速度约为2000 FPS，展现出显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括移动设备、嵌入式系统和实时图像处理等场景，能够在资源受限的环境中实现高质量图像的表示与压缩，具有重要的实际价值和广泛的应用前景。未来，该技术可能推动更多低端设备的图像处理能力提升。

📄 摘要（原文）

Implicit neural representations (INRs) recently achieved great success in image representation and compression, offering high visual quality and fast rendering speeds with 10-1000 FPS, assuming sufficient GPU resources are available. However, this requirement often hinders their use on low-end devices with limited memory. In response, we propose a groundbreaking paradigm of image representation and compression by 2D Gaussian Splatting, named GaussianImage. We first introduce 2D Gaussian to represent the image, where each Gaussian has 8 parameters including position, covariance and color. Subsequently, we unveil a novel rendering algorithm based on accumulated summation. Remarkably, our method with a minimum of 3$\times$ lower GPU memory usage and 5$\times$ faster fitting time not only rivals INRs (e.g., WIRE, I-NGP) in representation performance, but also delivers a faster rendering speed of 1500-2000 FPS regardless of parameter size. Furthermore, we integrate existing vector quantization technique to build an image codec. Experimental results demonstrate that our codec attains rate-distortion performance comparable to compression-based INRs such as COIN and COIN++, while facilitating decoding speeds of approximately 2000 FPS. Additionally, preliminary proof of concept shows that our codec surpasses COIN and COIN++ in performance when using partial bits-back coding. Code is available at https://github.com/Xinjie-Q/GaussianImage.