Boosting Neural Video Codec via Scale-Driven Online Flow Refinement

📄 arXiv: 2606.23023v1 📥 PDF

作者: Tiange Zhang, Rongqun Lin, Haocheng Tang, Xiandong Meng, Weijia Jiang, Zhimeng Huang, Siwei Ma

分类: cs.CV

发布日期: 2026-06-22

备注: Accepted to ICME 2026 as an oral paper

🔗 代码/项目: GITHUB

💡 一句话要点

提出无训练的尺度驱动在线流优化方法以提升神经视频编码器性能

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 神经视频编码 运动估计 在线流优化 比特率节省 动态融合策略

📋 核心要点

  1. 现有神经视频编码器在处理复杂运动模式时泛化能力不足，导致性能下降。
  2. 提出的SOFR方法通过动态融合粗细尺度的运动信息，修正运动估计误差，且无需在线微调。
  3. 在USTC-TD数据集上的实验表明，SOFR在多个NVC框架中均有效，尤其在DCVC-FM中显著节省比特率。

📝 摘要（中文）

尽管现有的神经视频编码器（NVCs）在性能上取得了显著进展，但在遇到训练期间未见的复杂运动模式时，其泛化能力有限。为了解决这一领域间的差距，本文提出了一种训练无关的尺度驱动在线流优化（SOFR）方法。SOFR作为一种即插即用模块，整合了粗细尺度的运动信息，并根据变形精度动态融合，有效修正了运动估计误差，且计算开销微乎其微。此外，本文设计了一种基于比特率模式的动态融合策略，并通过变形误差的可靠性检查确保了鲁棒性。大量实验验证了SOFR在不同NVC框架下的有效性和泛化能力，尤其是在DCVC-FM中，PSNR和MS-SSIM分别节省了2.84%和4.05%的比特率，且编码时间几乎没有增加。

🔬 方法详解

问题定义：本文旨在解决现有神经视频编码器在面对复杂运动模式时的泛化能力不足问题。现有方法在训练时未见的运动模式下表现不佳，导致编码效率降低。

核心思路：提出的SOFR方法通过整合不同尺度的运动信息，动态调整融合策略，以提高运动估计的准确性。这种设计使得在不进行昂贵的在线微调的情况下，能够有效提升编码性能。

技术框架：SOFR模块包括运动信息的粗细尺度整合、动态融合策略和基于变形误差的可靠性检查。整体流程为：首先提取粗细尺度的运动信息，然后根据变形精度进行动态融合，最后通过可靠性检查确保结果的鲁棒性。

关键创新：SOFR的最大创新在于其训练无关性和动态融合策略，这与现有方法依赖于在线微调的做法有本质区别。通过这种设计，SOFR能够在多种场景下保持高效的编码性能。

关键设计：SOFR的关键设计包括比特率模式下的动态融合策略选择，以及基于变形误差的可靠性检查。这些设计确保了在不同编码条件下的适应性和鲁棒性。具体的参数设置和损失函数设计在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SOFR在DCVC-FM框架下，PSNR和MS-SSIM分别实现了2.84%和4.05%的比特率节省，且编码时间几乎没有增加。这些结果表明SOFR在提高视频编码效率方面的显著效果，验证了其在不同NVC框架中的广泛适用性。

🎯 应用场景

该研究的潜在应用领域包括视频压缩、流媒体传输和视频监控等。通过提升神经视频编码器的性能，SOFR能够在保证视频质量的同时，降低带宽需求，具有重要的实际价值。此外，未来可能在更广泛的计算机视觉任务中得到应用。

📄 摘要（原文）

Although state-of-the-art neural video codecs (NVCs) have achieved remarkable performance, they suffer from limited generalization when encountering complex motion patterns unseen during training. To bridge this domain gap without the expensive cost of online fine-tuning, we propose a Training-Free Scale-Driven Online Flow Refinement (SOFR) method. Serving as a plug-and-play module, SOFR integrates motion information from coarse and fine scales and dynamically fuses them according to warping accuracy, effectively rectifying motion estimation errors with negligible computational overhead. Furthermore, we design a rate-aware strategy that selects different dynamic fusion strategies according to bitrate modes, and employs a reliability check based on warping error to ensure robustness. Extensive experiments on the USTC-TD dataset verify the effectiveness and generalization of SOFR across various NVC frameworks, including DCVC-SDD, DCVC-FM, and EHVC. Notably, it brings an average of 2.84% and 4.05% bitrate savings in terms of PSNR and MS-SSIM, respectively, to DCVC-FM with negligible coding time increase. Our code is available at https://github.com/SunnyMass/SOFR.