Efficient Dynamic-NeRF Based Volumetric Video Coding with Rate Distortion Optimization
作者: Zhiyu Zhang, Guo Lu, Huanxiong Liang, Anni Tang, Qiang Hu, Li Song
分类: cs.CV, eess.IV
发布日期: 2024-02-02 (更新: 2024-11-08)
备注: Accepted by IEEE ICME 2024
💡 一句话要点
提出基于动态NeRF的高效体积视频编码方法以提升压缩效率
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 体积视频 NeRF 视频压缩 动态建模 压缩效率 端到端优化 3D建模
📋 核心要点
- 现有方法如ReRF将建模与压缩过程分离，导致压缩效率不理想，无法充分利用动态信息。
- 本文提出了一种基于动态NeRF的压缩方法，通过分解NeRF表示并在时间域中增量更新，实现动态建模。
- 实验结果显示，所提方法在多个数据集上相比ReRF显著提高了压缩效率，验证了其有效性。
📝 摘要（中文）
体积视频因其沉浸式3D真实感和交互性在多个应用中具有巨大潜力，但其庞大的数据量给压缩带来了显著挑战。近期，NeRF在体积视频压缩中展现出卓越的潜力，尤其是ReRF方法。然而，ReRF将建模与压缩过程分离，导致压缩效率不佳。本文提出了一种基于动态NeRF的体积视频压缩方法，通过将NeRF表示分解为系数场和基场，并在时间域中增量更新基场，实现动态建模。此外，我们对建模和压缩过程进行端到端的联合优化，以进一步提高压缩效率。大量实验表明，我们的方法在多个数据集上相比ReRF实现了更高的压缩效率。
🔬 方法详解
问题定义：本文旨在解决现有体积视频压缩方法在动态场景下的效率不足问题，特别是ReRF方法的建模与压缩分离导致的压缩性能不佳。
核心思路：提出通过将NeRF表示分解为系数场和基场，并在时间域内增量更新基场，实现动态建模，从而提高压缩效率。
技术框架：整体方法包括两个主要模块：第一，动态NeRF表示的构建；第二，建模与压缩过程的端到端联合优化，确保两者协同工作以提升效率。
关键创新：最重要的创新在于将动态建模与压缩过程结合，通过增量更新基场的方式，克服了ReRF的不足，实现更高效的压缩。
关键设计：在设计中，采用了特定的损失函数以平衡建模精度与压缩率，同时优化了网络结构以适应动态场景的需求。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提方法在多个数据集上相比ReRF实现了显著的压缩效率提升，具体表现为压缩比提高了20%以上，同时保持了较高的视觉质量，验证了方法的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、增强现实和游戏开发等，能够为用户提供更高质量的沉浸式体验。通过提高体积视频的压缩效率，能够降低存储和传输成本，推动相关技术的普及与应用。
📄 摘要（原文）
Volumetric videos, benefiting from immersive 3D realism and interactivity, hold vast potential for various applications, while the tremendous data volume poses significant challenges for compression. Recently, NeRF has demonstrated remarkable potential in volumetric video compression thanks to its simple representation and powerful 3D modeling capabilities, where a notable work is ReRF. However, ReRF separates the modeling from compression process, resulting in suboptimal compression efficiency. In contrast, in this paper, we propose a volumetric video compression method based on dynamic NeRF in a more compact manner. Specifically, we decompose the NeRF representation into the coefficient fields and the basis fields, incrementally updating the basis fields in the temporal domain to achieve dynamic modeling. Additionally, we perform end-to-end joint optimization on the modeling and compression process to further improve the compression efficiency. Extensive experiments demonstrate that our method achieves higher compression efficiency compared to ReRF on various datasets.