MiVID: Multi-Strategic Self-Supervision for Video Frame Interpolation using Diffusion Model

📄 arXiv: 2511.06019v1 📥 PDF

作者: Priyansh Srivastava, Romit Chatterjee, Abir Sen, Aradhana Behura, Ratnakar Dash

分类: cs.CV, cs.AI

发布日期: 2025-11-08

💡 一句话要点

MiVID：基于扩散模型的多策略自监督视频帧插值

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 视频帧插值 扩散模型 自监督学习 3D U-Net 时间注意力

📋 核心要点

  1. 传统VFI方法在遮挡、领域偏移和模糊运动下表现不佳，且依赖光流或密集ground-truth。
  2. MiVID利用扩散模型和自监督学习，结合3D U-Net和Transformer注意力，无需显式运动估计。
  3. MiVID在CPU上训练，仅用50个epoch即在UCF101-7和DAVIS-7上取得与有监督方法相当的结果。

📝 摘要（中文）

视频帧插值（VFI）是视频增强的关键技术，可实现时间维度上的分辨率提升，应用于慢动作渲染、帧率转换和视频修复等任务。传统方法依赖光流，而基于学习的模型则需要密集的ground-truth数据，但两者在处理遮挡、领域偏移和模糊运动时都存在困难。本文提出了MiVID，一个轻量级的、自监督的、基于扩散模型的视频插值框架。该模型通过结合3D U-Net骨干网络和Transformer风格的时间注意力机制，消除了对显式运动估计的需求，并在混合掩码机制下进行训练，以模拟遮挡和运动不确定性。通过使用基于余弦的渐进式掩码和自适应损失调度，我们的网络能够在没有任何高帧率监督的情况下学习鲁棒的时空表示。我们的框架在UCF101-7和DAVIS-7数据集上进行了评估。MiVID完全在CPU上使用这些数据集和9帧视频片段进行训练，使其成为一个低资源但高效的流程。尽管存在这些限制，我们的模型仅在50个epoch时就取得了最佳结果，与多个有监督的基线模型相比具有竞争力。这项工作证明了自监督扩散先验在时间连贯的帧合成方面的强大能力，并为可访问和可泛化的VFI系统提供了一条可扩展的路径。

🔬 方法详解

问题定义：视频帧插值旨在生成视频序列中缺失的中间帧，从而提高视频的帧率。现有方法，如基于光流的方法，在处理复杂运动和遮挡时容易出错。而依赖监督学习的方法需要大量的ground-truth高帧率视频数据，获取成本高昂，且泛化能力有限。因此，如何在缺乏高质量监督信息的情况下，实现鲁棒且高效的视频帧插值是一个关键问题。

核心思路：MiVID的核心思路是利用扩散模型强大的生成能力，并结合自监督学习策略，避免对显式运动估计的依赖。通过在训练过程中模拟遮挡和运动不确定性，使模型能够学习到鲁棒的时空表示，从而在推理阶段生成高质量的中间帧。这种方法的核心在于利用扩散模型的先验知识，以及精心设计的自监督训练策略，来弥补监督信息的不足。

技术框架：MiVID的整体框架包括以下几个主要模块：1) 3D U-Net骨干网络：用于提取视频帧的时空特征。2) Transformer风格的时间注意力机制：用于建模视频帧之间的时间依赖关系。3) 混合掩码机制：用于在训练过程中模拟遮挡和运动不确定性。4) 基于余弦的渐进式掩码：逐步增加掩码的比例，使模型能够逐步学习到更复杂的运动模式。5) 自适应损失调度：根据训练的进度，动态调整不同损失函数的权重，以优化模型的训练过程。

关键创新：MiVID最重要的技术创新点在于其自监督训练策略和扩散模型的结合。与传统的监督学习方法不同，MiVID不需要ground-truth高帧率视频数据，而是通过自监督的方式，利用视频自身的信息进行训练。此外，MiVID还引入了混合掩码机制和基于余弦的渐进式掩码，进一步提高了模型的鲁棒性和泛化能力。

关键设计：在关键设计方面，MiVID采用了以下策略：1) 混合掩码机制：结合了随机掩码和块掩码，以模拟不同类型的遮挡和运动不确定性。2) 基于余弦的渐进式掩码：逐步增加掩码的比例，使模型能够逐步学习到更复杂的运动模式。3) 自适应损失调度：根据训练的进度，动态调整L1损失和感知损失的权重，以优化模型的训练过程。4) 轻量级的3D U-Net骨干网络：降低了模型的计算复杂度，使其能够在CPU上进行训练。

📊 实验亮点

MiVID在UCF101-7和DAVIS-7数据集上进行了评估，结果表明，即使在CPU上训练，仅用50个epoch，MiVID也能取得与多个有监督的基线模型相当甚至更优的结果。这证明了MiVID的自监督学习策略和扩散模型的有效性。尤其是在低资源环境下，MiVID展现了强大的竞争力。

🎯 应用场景

MiVID在视频编辑、视频监控、游戏开发等领域具有广泛的应用前景。例如，可以用于将低帧率视频转换为高帧率视频，提高观看体验；可以用于修复老旧视频，恢复视频的清晰度；还可以用于生成慢动作视频，创造更具艺术感的视觉效果。此外，MiVID的自监督学习方法使其能够适应不同的视频场景，具有很强的泛化能力。

📄 摘要（原文）

Video Frame Interpolation (VFI) remains a cornerstone in video enhancement, enabling temporal upscaling for tasks like slow-motion rendering, frame rate conversion, and video restoration. While classical methods rely on optical flow and learning-based models assume access to dense ground-truth, both struggle with occlusions, domain shifts, and ambiguous motion. This article introduces MiVID, a lightweight, self-supervised, diffusion-based framework for video interpolation. Our model eliminates the need for explicit motion estimation by combining a 3D U-Net backbone with transformer-style temporal attention, trained under a hybrid masking regime that simulates occlusions and motion uncertainty. The use of cosine-based progressive masking and adaptive loss scheduling allows our network to learn robust spatiotemporal representations without any high-frame-rate supervision. Our framework is evaluated on UCF101-7 and DAVIS-7 datasets. MiVID is trained entirely on CPU using the datasets and 9-frame video segments, making it a low-resource yet highly effective pipeline. Despite these constraints, our model achieves optimal results at just 50 epochs, competitive with several supervised baselines.This work demonstrates the power of self-supervised diffusion priors for temporally coherent frame synthesis and provides a scalable path toward accessible and generalizable VFI systems.