FC-VFI: Faithful and Consistent Video Frame Interpolation for High-FPS Slow Motion Video Generation

📄 arXiv: 2603.04899v1 📥 PDF

作者: Ganggui Ding, Hao Chen, Xiaogang Xu

分类: cs.CV

发布日期: 2026-03-05

备注: ICASSP2026

💡 一句话要点

提出FC-VFI，用于高帧率慢动作视频生成中的保真和一致性视频插帧

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视频帧插值 慢动作视频生成 时间建模 语义匹配线 运动一致性

📋 核心要点

  1. 现有视频插帧方法难以在高帧率下保持视觉细节，且依赖光流或稀疏点进行运动控制，容易出错或缺乏结构信息。
  2. FC-VFI通过在潜在空间进行时间建模，从起始和结束帧继承保真度信息，并利用语义匹配线进行结构感知的运动引导。
  3. 实验结果表明，FC-VFI在多种场景下实现了高性能和结构完整性，支持4倍和8倍插值，提升帧率至120/240FPS。

📝 摘要（中文）

大型预训练视频扩散模型在视频帧插值方面表现出色，但由于依赖内在生成先验，难以生成高保真帧，限制了起始帧和结束帧的细节保留。现有方法通常依赖于运动控制以保证时间一致性，然而，密集光流容易出错，而稀疏点缺乏结构上下文。本文提出FC-VFI，用于保真和一致的视频帧插值，支持4倍和8倍插值，将帧率从30 FPS提升到120和240 FPS，分辨率为2560x1440，同时保持视觉保真度和运动一致性。我们在潜在序列上引入时间建模策略，以继承起始帧和结束帧的保真度线索，并利用语义匹配线进行结构感知的运动引导，从而提高运动一致性。此外，我们提出了一种时间差分损失来减轻时间不一致性。大量实验表明，FC-VFI在各种场景中都实现了高性能和结构完整性。

🔬 方法详解

问题定义：论文旨在解决高帧率慢动作视频生成中，视频帧插值算法难以同时保证视觉保真度和时间一致性的问题。现有方法要么依赖生成先验导致细节丢失，要么依赖不准确的光流或缺乏结构信息的稀疏点，造成运动不连贯。

核心思路：论文的核心思路是在潜在空间中进行时间建模，并结合结构感知的运动引导，从而在继承起始和结束帧的保真度信息的同时，保证插值帧的运动一致性。通过语义匹配线提取结构信息，避免了对密集光流的依赖。

技术框架：FC-VFI的整体框架包含以下几个主要模块：1) 潜在空间编码器：将输入帧编码到潜在空间；2) 时间建模模块：在潜在空间中进行时间建模，融合起始帧和结束帧的信息；3) 结构感知运动引导模块：利用语义匹配线引导插值帧的生成，保证运动一致性；4) 潜在空间解码器：将潜在空间表示解码为插值帧。

关键创新：该方法最重要的创新点在于：1) 在潜在空间进行时间建模，有效利用了起始帧和结束帧的保真度信息；2) 引入语义匹配线进行结构感知的运动引导，避免了对密集光流的依赖，提高了运动一致性；3) 提出了时间差分损失，进一步减轻时间不一致性。

关键设计：时间建模模块的具体实现未知，但强调了在潜在空间的操作。语义匹配线的提取和使用方式也未详细说明，但推测可能使用了预训练的特征提取器和匹配算法。时间差分损失的具体形式未知，但目标是减小相邻帧之间的差异，提高时间连贯性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FC-VFI在多种场景下都取得了优异的性能，能够生成高保真度和运动一致性的插值帧。与现有方法相比，FC-VFI在视觉质量和时间一致性方面都有显著提升。具体性能数据和对比基线在摘要中未提及，但强调了其在2560x1440分辨率下，将帧率从30FPS提升至120/240FPS的能力，并保持了视觉保真度和运动一致性。

🎯 应用场景

该研究成果可广泛应用于视频编辑、游戏开发、电影制作等领域，尤其是在需要高质量慢动作视频生成的场景中。例如，体育赛事精彩瞬间的回放、电影特效的制作、游戏场景的慢动作展示等。该方法能够提升视频的视觉质量和观赏性，具有重要的实际应用价值和商业潜力。

📄 摘要（原文）

Large pre-trained video diffusion models excel in video frame interpolation but struggle to generate high fidelity frames due to reliance on intrinsic generative priors, limiting detail preservation from start and end frames. Existing methods often depend on motion control for temporal consistency, yet dense optical flow is error-prone, and sparse points lack structural context. In this paper, we propose FC-VFI for faithful and consistent video frame interpolation, supporting (4\times)x and (8\times) interpolation, boosting frame rates from 30 FPS to 120 and 240 FPS at (2560\times 1440)resolution while preserving visual fidelity and motion consistency. We introduce a temporal modeling strategy on the latent sequences to inherit fidelity cues from start and end frames and leverage semantic matching lines for structure-aware motion guidance, improving motion consistency. Furthermore, we propose a temporal difference loss to mitigate temporal inconsistencies. Extensive experiments show FC-VFI achieves high performance and structural integrity across diverse scenarios.