Object Segmentation-Assisted Inter Prediction for Versatile Video Coding

📄 arXiv: 2403.11694v2 📥 PDF

作者: Zhuoyuan Li, Zikun Yuan, Li Li, Dong Liu, Xiaohu Tang, Feng Wu

分类: eess.IV, cs.CV

发布日期: 2024-03-18 (更新: 2024-09-12)

备注: 20 pages, 13 figures, accepted by IEEE Transactions on Broadcasting (TBC)

DOI: 10.1109/TBC.2024.3434520

💡 一句话要点

提出基于物体分割的帧间预测方法以提升视频编码效率

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 视频编码 物体分割 帧间预测 运动补偿 压缩效率

📋 核心要点

  1. 现有的块基帧间预测方法在处理自然视频中的多个运动物体时，难以有效表示复杂的运动场。
  2. 本文提出的SAIP方法通过物体分割技术，将参考帧中的物体分割掩码转移到当前帧，实现任意形状的区域划分。
  3. 实验结果显示，该方法在低延迟P、低延迟B和随机访问配置下，分别实现了最高1.98%和平均0.82%的BD-rate降低。

📝 摘要（中文）

在现代视频编码标准中，块基帧间预测被广泛采用，具有高压缩效率。然而，自然视频中通常存在多个形状不规则的运动物体，导致复杂的运动场难以紧凑表示。尽管VVC标准采用了更灵活的块划分方法，但仍需额外的信号位来表示这些划分。为了解决这一限制，本文提出了一种物体分割辅助的帧间预测方法（SAIP），通过对参考帧中的物体进行分割，利用分割掩码在当前帧中实现任意形状的区域划分。该方法在运动补偿和运动矢量编码中分别对不同区域进行处理，显著提高了预测精度，并在运动估计和划分估计的联合率失真优化中考虑了分割掩码。实验结果表明，该方法在多种配置下实现了BD-rate的显著降低。

🔬 方法详解

问题定义：现有的块基帧间预测方法在处理自然视频中多个运动物体时，难以有效表示复杂的运动场，且灵活的块划分方法需要额外的信号位，限制了其应用。

核心思路：本文提出的SAIP方法通过对参考帧中的物体进行分割，利用分割掩码在当前帧中实现任意形状的区域划分，从而提高运动补偿的精度。

技术框架：该方法的整体架构包括物体分割、分割掩码的传递、区域运动补偿和运动矢量编码等主要模块。首先对参考帧进行物体分割，然后将分割掩码应用于当前帧，实现精确的区域划分。

关键创新：最重要的技术创新点在于利用物体分割掩码实现任意形状的区域划分，避免了传统方法中对额外信号位的需求，从而提高了编码效率。

关键设计：在设计中，采用了先进的物体分割技术，并在运动估计和划分估计的联合率失真优化中考虑了分割掩码，以提高运动矢量的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SAIP方法在多个测试序列中实现了最高1.98%的BD-rate降低，平均分别为0.82%、0.49%和0.37%在不同配置下，显示出显著的性能提升，优于现有的编码方法。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在视频压缩、流媒体传输和视频监控等领域。通过提高视频编码的效率，能够有效降低带宽需求，提升用户体验。此外，未来可能在自动视频编辑和智能视频分析中发挥重要作用。

📄 摘要（原文）

In modern video coding standards, block-based inter prediction is widely adopted, which brings high compression efficiency. However, in natural videos, there are usually multiple moving objects of arbitrary shapes, resulting in complex motion fields that are difficult to represent compactly. This problem has been tackled by more flexible block partitioning methods in the Versatile Video Coding (VVC) standard, but the more flexible partitions require more overhead bits to signal and still cannot be made arbitrarily shaped. To address this limitation, we propose an object segmentation-assisted inter prediction method (SAIP), where objects in the reference frames are segmented by some advanced technologies. With a proper indication, the object segmentation mask is translated from the reference frame to the current frame as the arbitrary-shaped partition of different regions without any extra signal. Using the segmentation mask, motion compensation is separately performed for different regions, achieving higher prediction accuracy. The segmentation mask is further used to code the motion vectors of different regions more efficiently. Moreover, the segmentation mask is considered in the joint rate-distortion optimization for motion estimation and partition estimation to derive the motion vector of different regions and partition more accurately. The proposed method is implemented into the VVC reference software, VTM version 12.0. Experimental results show that the proposed method achieves up to 1.98%, 1.14%, 0.79%, and on average 0.82%, 0.49%, 0.37% BD-rate reduction for common test sequences, under the Low-delay P, Low-delay B, and Random Access configurations, respectively.