DS-NeRV: Implicit Neural Video Representation with Decomposed Static and Dynamic Codes

📄 arXiv: 2403.15679v1 📥 PDF

作者: Hao Yan, Zhihui Ke, Xiaobo Zhou, Tie Qiu, Xidong Shi, Dadong Jiang

分类: cs.CV, cs.MM

发布日期: 2024-03-23

备注: CVPR 2024. Project page at https://haoyan14.github.io/DS-NeRV

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出DS-NeRV以解决视频静态与动态信息混淆问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 隐式神经表示 视频压缩 动态编码 静态编码 跨通道注意力 高质量重建 多媒体处理

📋 核心要点

  1. 现有隐式神经视频表示方法将静态与动态信息混合，导致冗余静态信息无法有效压缩，动态细节建模不足。
  2. DS-NeRV通过将视频分解为静态编码和动态编码，避免了信息混淆，并通过不同的采样率优化信息利用。
  3. 实验结果显示，DS-NeRV在仅0.35M参数下实现了31.2 PSNR的重建效果，显著优于现有NeRV方法。

📝 摘要（中文）

隐式神经视频表示（NeRV）最近成为高质量视频表示的新方法。然而，现有方法使用单一网络表示整个视频，导致静态和动态信息混淆，无法有效压缩冗余静态信息，也缺乏对全局时间一致动态细节的显式建模。为了解决这些问题，本文提出了DS-NeRV，通过将视频分解为稀疏可学习的静态编码和动态编码，无需显式光流或残差监督。通过为两种编码设置不同的采样率并应用加权求和和插值采样方法，DS-NeRV有效利用冗余静态信息，同时保持高频细节。此外，我们设计了基于跨通道注意力的融合模块，能够高效融合这两种编码以进行帧解码。我们的方案在仅使用0.35M参数的情况下，实现了31.2 PSNR的高质量重建，并在多个下游任务中超越了现有的NeRV方法。

🔬 方法详解

问题定义：现有的隐式神经视频表示方法通常使用单一网络来表示整个视频，导致静态信息和动态信息的混淆。这种混淆使得冗余静态信息无法有效压缩，同时缺乏对动态细节的全局时间一致性建模。

核心思路：DS-NeRV的核心思路是将视频分解为稀疏的可学习静态编码和动态编码。通过这种分解，静态信息和动态信息得以独立处理，从而提高了信息的压缩效率和重建质量。

技术框架：DS-NeRV的整体架构包括静态编码和动态编码的生成模块，以及一个基于跨通道注意力的融合模块。静态编码和动态编码通过不同的采样率进行处理，最终融合以实现高质量的帧解码。

关键创新：DS-NeRV的主要创新在于引入了静态和动态编码的分解表示，避免了信息混淆，并通过加权求和和插值采样方法高效利用冗余信息。这一设计与现有方法的本质区别在于信息处理的独立性。

关键设计：在参数设置上，DS-NeRV使用了0.35M的参数量，设计了适应不同信息类型的采样率，并采用了跨通道注意力机制来增强编码融合的效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DS-NeRV在仅使用0.35M参数的情况下，实现了31.2 PSNR的重建效果，显著优于现有的NeRV方法，展示了其在视频表示领域的卓越性能和应用潜力。

🎯 应用场景

该研究的潜在应用领域包括视频压缩、视频生成和视频理解等。通过提高视频表示的效率和质量，DS-NeRV能够在多媒体处理、虚拟现实和增强现实等领域发挥重要作用，推动相关技术的发展与应用。

📄 摘要（原文）

Implicit neural representations for video (NeRV) have recently become a novel way for high-quality video representation. However, existing works employ a single network to represent the entire video, which implicitly confuse static and dynamic information. This leads to an inability to effectively compress the redundant static information and lack the explicitly modeling of global temporal-coherent dynamic details. To solve above problems, we propose DS-NeRV, which decomposes videos into sparse learnable static codes and dynamic codes without the need for explicit optical flow or residual supervision. By setting different sampling rates for two codes and applying weighted sum and interpolation sampling methods, DS-NeRV efficiently utilizes redundant static information while maintaining high-frequency details. Additionally, we design a cross-channel attention-based (CCA) fusion module to efficiently fuse these two codes for frame decoding. Our approach achieves a high quality reconstruction of 31.2 PSNR with only 0.35M parameters thanks to separate static and dynamic codes representation and outperforms existing NeRV methods in many downstream tasks. Our project website is at https://haoyan14.github.io/DS-NeRV.