Multiple Hypothesis Flow Estimation for Video Frame Interpolation under Matching Ambiguity
作者: Zibo Su, Jing Kong, Ruixing Wang, Zhanhe Zhang, Kun Wei
分类: cs.CV
发布日期: 2026-08-07
💡 一句话要点
提出多假设光流估计框架以解决视频帧插值中的匹配模糊问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 视频帧插值 光流估计 多假设机制 可靠性引导 计算机视觉 深度学习
📋 核心要点
- 现有的光流估计方法在模糊区域无法有效处理多个匹配候选，导致生成的中间帧出现鬼影和结构失真。
- 本文提出的多假设光流估计框架通过保留多个候选对应关系，利用可靠性引导选择最优匹配，提升了插值质量。
- 在MA-HD和公共VFI基准上，本文方法在LPIPS和DISTS指标上均优于现有方法，验证了其有效性。
📝 摘要（中文）
许多基于光流的视频帧插值方法通过估计光流场、扭曲输入帧并混合扭曲后的观测值来合成中间帧。这些光流场通常通过图像级重建监督学习，而没有直接的光流标注。在包含重复或随机纹理、旋转对称结构或快速运动模糊的模糊区域，单一查询的匹配证据可能包含多个可比且空间上分离的峰值。为了解决这一限制，本文提出了一种多假设光流估计框架，保留前K个候选对应关系，并通过可靠性引导路由器为每个位置选择一个。实验结果表明，该方法在MA-HD基准和公共VFI基准上表现优异，获得了最佳的LPIPS和DISTS指标。
🔬 方法详解
问题定义：本文旨在解决视频帧插值中光流估计的匹配模糊问题。现有方法在处理含有重复纹理或快速运动的模糊区域时，往往只能选择一个匹配，导致生成的帧质量下降。
核心思路：提出的多假设光流估计框架保留多个候选对应关系，并通过可靠性引导路由器选择最优匹配，从而避免了单一匹配带来的错误。
技术框架：该框架包括多个主要模块：首先，通过粗匹配锚点初始化多个假设；然后，利用锚点中心的局部注意力对每个假设进行单独精细化；最后，基于选定的光流-外观假设进行帧合成。
关键创新：最重要的创新在于引入了多假设机制，允许模型在模糊区域保留多个可能的匹配，而不是仅仅选择一个，从而显著提高了插值质量。
关键设计：在模型设计中，采用了可靠性引导路由器来选择最优假设，并在损失函数中考虑了多个候选的影响，以确保最终合成的帧质量。
🖼️ 关键图片
📊 实验亮点
在MA-HD基准和公共VFI基准上，本文方法在LPIPS和DISTS指标上表现最佳，分别相较于对比方法提升了XX%和YY%，显示出显著的性能优势。
🎯 应用场景
该研究的潜在应用领域包括视频编辑、游戏开发和虚拟现实等场景，能够有效提升视频内容的流畅性和视觉质量。未来，该方法可能推动更高质量的动态视频生成技术的发展，改善用户体验。
📄 摘要（原文）
Many flow-based video frame interpolation (VFI) methods synthesize an intermediate frame by estimating optical flow fields, warping the two input frames, and blending the warped observations. These latent flow fields are typically learned through image-level reconstruction supervision without direct flow annotations. In ambiguous regions containing repetitive or stochastic textures, rotating symmetric structures, or fast motion with blur, the matching evidence for a single query may contain multiple comparable and spatially separated peaks. Although the ground-truth intermediate frame provides indirect supervision, it may not uniquely identify the latent correspondence in ambiguous regions.When several locations provide multiple plausible matches, a single-flow estimator can retain only one displacement and discard the remaining candidates. If the selected match is incorrect or inconsistent with those of neighboring pixels, warping samples content from mismatched locations, producing ghosting, structural distortion, or blur.To address this limitation, we propose a multiple hypothesis flow estimation framework that preserves top-K candidate correspondences and selects one per location through a reliability-guided router. Each hypothesis is initialized from a coarse matching anchor and refined separately through anchor-centered local attention. Frame synthesis is thus conditioned on one selected flow-appearance hypothesis rather than a soft combination of candidate motions.Experiments on the proposed MA-HD benchmark and public VFI benchmarks show that our method achieves the best LPIPS and DISTS among the compared methods.