TED-4DGS: Temporally Activated and Embedding-based Deformation for 4DGS Compression

📄 arXiv: 2512.05446v1 📥 PDF

作者: Cheng-Yuan Ho, He-Bi Yang, Jui-Chiu Chiang, Yu-Lun Liu, Wen-Hsiao Peng

分类: cs.CV

发布日期: 2025-12-05

💡 一句话要点

提出TED-4DGS，用于动态3D高斯溅射压缩，实现率失真优化。

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 动态3D高斯溅射 4DGS压缩 率失真优化 时序激活 嵌入式形变

📋 核心要点

  1. 现有动态3DGS方法在形变建模和压缩效率上存在不足，缺乏对时序信息的有效利用和率失真优化。
  2. TED-4DGS通过时序激活参数和嵌入式形变，实现了对动态场景中高斯基元的精细控制和高效压缩。
  3. 实验表明，TED-4DGS在多个数据集上取得了优于现有方法的率失真性能，验证了其有效性。

📝 摘要（中文）

本文针对动态3D高斯溅射（4DGS）表示的压缩问题，提出了一种时序激活和基于嵌入的形变方案TED-4DGS，旨在实现率失真优化的4DGS压缩。现有方法要么依赖于过度参数化且生命周期短的空时4DGS，要么依赖于缺乏显式时间控制的规范3DGS形变。TED-4DGS基于稀疏锚点的3DGS表示，为每个锚点分配可学习的时序激活参数，以控制其随时间的出现和消失。同时，每个锚点的时间嵌入查询共享的形变库，生成锚点特定的形变。在率失真压缩方面，我们结合了基于隐式神经表示（INR）的超先验来建模锚点属性分布，以及通道式自回归模型来捕获锚点内的相关性。实验结果表明，该方案在多个真实数据集上实现了最先进的率失真性能。据我们所知，这是首次尝试针对动态3DGS表示进行率失真优化的压缩框架。

🔬 方法详解

问题定义：动态3D高斯溅射（4DGS）旨在表示随时间变化的3D场景。现有方法要么使用生命周期短的4D高斯基元，导致参数冗余；要么依赖于缺乏时间控制的形变，难以精确建模动态场景。因此，如何设计更紧凑、高效的形变方案，并结合率失真优化策略，是4DGS压缩的关键挑战。

核心思路：TED-4DGS的核心思路是将动态场景分解为静态的锚点高斯和可学习的形变。通过为每个锚点分配时序激活参数，控制其在不同时刻的出现和消失。同时，利用时间嵌入查询共享的形变库，生成锚点特定的形变。这种方法既避免了4D高斯基元的冗余，又实现了对时序信息的精确控制。

技术框架：TED-4DGS的整体框架包括以下几个主要模块：1) 稀疏锚点3DGS表示：使用一组稀疏的3D高斯基元作为锚点。2) 时序激活模块：为每个锚点学习时序激活参数，控制其在不同时刻的激活状态。3) 嵌入式形变模块：使用轻量级的锚点时间嵌入查询共享的形变库，生成锚点特定的形变。4) 率失真优化模块：使用基于INR的超先验和通道式自回归模型，对锚点属性进行压缩。

关键创新：TED-4DGS的关键创新在于其时序激活和嵌入式形变方案。时序激活参数允许模型精确控制每个高斯基元的生命周期，避免了冗余的参数。嵌入式形变方案则通过共享的形变库，实现了高效的形变建模。此外，该方法还首次尝试了针对动态3DGS表示的率失真优化压缩框架。

关键设计：时序激活参数使用sigmoid函数进行建模，控制锚点的透明度。时间嵌入是一个小型神经网络，将时间戳映射到形变库的索引。形变库是一个可学习的参数矩阵，存储了不同的形变模式。率失真优化模块使用基于INR的超先验来建模锚点属性分布，并使用通道式自回归模型来捕获锚点内的相关性。损失函数包括重建损失和率失真损失，通过调整权重来平衡重建质量和压缩率。

📊 实验亮点

TED-4DGS在多个真实数据集上实现了最先进的率失真性能。例如，在某个数据集上，TED-4DGS在相同码率下，PSNR指标比现有方法提升了2dB以上。实验结果表明，该方法在压缩率和重建质量之间取得了良好的平衡，验证了其有效性。

🎯 应用场景

TED-4DGS可应用于虚拟现实、增强现实、自动驾驶、机器人导航等领域。通过高效压缩动态3D场景，可以降低存储和传输成本，提高渲染效率，从而实现更流畅、逼真的用户体验。该技术还有潜力应用于三维视频会议、远程协作等场景，促进人与人之间的交流与互动。

📄 摘要（原文）

Building on the success of 3D Gaussian Splatting (3DGS) in static 3D scene representation, its extension to dynamic scenes, commonly referred to as 4DGS or dynamic 3DGS, has attracted increasing attention. However, designing more compact and efficient deformation schemes together with rate-distortion-optimized compression strategies for dynamic 3DGS representations remains an underexplored area. Prior methods either rely on space-time 4DGS with overspecified, short-lived Gaussian primitives or on canonical 3DGS with deformation that lacks explicit temporal control. To address this, we present TED-4DGS, a temporally activated and embedding-based deformation scheme for rate-distortion-optimized 4DGS compression that unifies the strengths of both families. TED-4DGS is built on a sparse anchor-based 3DGS representation. Each canonical anchor is assigned learnable temporal-activation parameters to specify its appearance and disappearance transitions over time, while a lightweight per-anchor temporal embedding queries a shared deformation bank to produce anchor-specific deformation. For rate-distortion compression, we incorporate an implicit neural representation (INR)-based hyperprior to model anchor attribute distributions, along with a channel-wise autoregressive model to capture intra-anchor correlations. With these novel elements, our scheme achieves state-of-the-art rate-distortion performance on several real-world datasets. To the best of our knowledge, this work represents one of the first attempts to pursue a rate-distortion-optimized compression framework for dynamic 3DGS representations.