Spatial Decomposition and Temporal Fusion based Inter Prediction for Learned Video Compression

📄 arXiv: 2401.15864v1 📥 PDF

作者: Xihua Sheng, Li Li, Dong Liu, Houqiang Li

分类: cs.CV, eess.IV

发布日期: 2024-01-29

💡 一句话要点

提出基于空间分解和时间融合的预测方法以提高视频压缩性能

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 视频压缩 运动预测 空间分解 时间融合 深度学习 视频编码 遮挡处理

📋 核心要点

  1. 现有视频压缩方法在处理局部区域的运动不一致和遮挡时存在显著不足，导致预测精度下降。
  2. 本文提出通过空间分解将视频分为结构和细节组件，结合短期和长期时间上下文来改进视频预测精度。
  3. 实验结果显示，所提方法在PSNR和MS-SSIM指标上均优于H.266/VVC参考软件，验证了其有效性。

📝 摘要（中文）

视频压缩性能与预测精度密切相关，尤其是在运动不一致和遮挡的情况下，传统编码标准采用递归分区、几何分区和长期参考等技术来处理这些问题。然而，现有的学习视频压缩方案往往忽视局部区域的运动不一致和遮挡，主要关注整体预测误差的最小化。本文提出了一种基于空间分解和时间融合的预测方法，通过将视频分解为结构和细节组件，进行基于SDD的运动估计和时间上下文挖掘，从而生成短期时间上下文。同时，通过递归累积历史参考特征的时间信息，传播长期时间上下文并与短期上下文融合，从而实现更准确的预测。实验结果表明，所提出的编解码器在所有常见测试数据集上均优于H.266/VVC参考软件，提升了PSNR和MS-SSIM指标。

🔬 方法详解

问题定义：本文旨在解决现有学习视频压缩方法在局部区域运动不一致和遮挡情况下的预测精度不足的问题。现有方法通常只关注整体预测误差，忽视了局部区域的复杂性。

核心思路：论文提出的核心思路是将视频分解为结构和细节（SDD）组件，分别进行运动估计和时间上下文挖掘，以生成更准确的短期和长期时间上下文，从而提高预测精度。

技术框架：整体架构包括视频的空间分解、SDD基础上的运动估计、短期时间上下文生成和长期时间上下文的传播与融合，形成一个完整的预测流程。

关键创新：最重要的技术创新在于引入SDD分解和时间上下文融合的机制，使得模型能够更好地处理运动不一致和遮挡问题，与传统方法相比具有本质的区别。

关键设计：在设计中，采用了特定的损失函数来优化预测精度，同时网络结构经过精心设计，以有效提取和融合短期与长期时间上下文信息。实验中还调整了多个超参数，以确保模型的最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的编解码器在所有常见测试数据集上均优于H.266/VVC参考软件，PSNR和MS-SSIM指标均有显著提升，验证了方法的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括视频流媒体、视频监控和视频会议等场景，能够显著提高视频压缩效率和质量，降低带宽需求，提升用户体验。未来，该技术可能推动更高效的视频编码标准的发展，适应日益增长的高清视频需求。

📄 摘要（原文）

Video compression performance is closely related to the accuracy of inter prediction. It tends to be difficult to obtain accurate inter prediction for the local video regions with inconsistent motion and occlusion. Traditional video coding standards propose various technologies to handle motion inconsistency and occlusion, such as recursive partitions, geometric partitions, and long-term references. However, existing learned video compression schemes focus on obtaining an overall minimized prediction error averaged over all regions while ignoring the motion inconsistency and occlusion in local regions. In this paper, we propose a spatial decomposition and temporal fusion based inter prediction for learned video compression. To handle motion inconsistency, we propose to decompose the video into structure and detail (SDD) components first. Then we perform SDD-based motion estimation and SDD-based temporal context mining for the structure and detail components to generate short-term temporal contexts. To handle occlusion, we propose to propagate long-term temporal contexts by recurrently accumulating the temporal information of each historical reference feature and fuse them with short-term temporal contexts. With the SDD-based motion model and long short-term temporal contexts fusion, our proposed learned video codec can obtain more accurate inter prediction. Comprehensive experimental results demonstrate that our codec outperforms the reference software of H.266/VVC on all common test datasets for both PSNR and MS-SSIM.