MASS: Motion-Aligned Selective Scan for Refinement in Flow-Based Video Frame Interpolation

📄 arXiv: 2606.27718v1 📥 PDF

作者: Jun-Sang Yoo, Seung-Won Jung

分类: cs.CV

发布日期: 2026-06-26

备注: Accepted in ECCV 2026

💡 一句话要点

提出MASS以解决视频帧插值中的运动对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频帧插值 运动对齐 选择性状态空间模型 光流 动态采样 非线性路径积分 复杂动态

📋 核心要点

  1. 现有的基于光流的视频帧插值方法在处理复杂运动和遮挡时存在模糊对应问题，导致插值效果不佳。
  2. 本文提出的MASS框架通过动态运动轨迹进行特征扫描，利用可学习的路径积分和速度感知SSM来优化采样策略。
  3. 实验结果表明，MASS在多个标准基准测试中表现优异，特别是在大位移和复杂动态场景中取得了最先进的性能。

📝 摘要（中文）

视频帧插值（VFI）仍然是一项具有挑战性的任务，尤其是在处理大范围非线性运动和复杂遮挡时。尽管基于光流的方法广泛应用，但在模糊对应关系上仍存在困难。本文提出了一种新的框架——运动对齐选择性扫描（MASS），将特征扫描从静态空间网格重构为动态运动轨迹。MASS沿每个像素的光流引导轨迹构建特征序列，并与选择性状态空间模型（SSM）进行聚合。我们引入了一种可学习的非线性路径积分，通过残差速度更新来近似复杂的曲线轨迹，并提出了一种速度感知的SSM，根据运动幅度动态调整采样预算和步长。这种自适应策略在快速运动区域分配更密集的采样，同时保持静态区域的高效性。实验表明，MASS在标准基准测试中表现出色，尤其在大位移和复杂动态场景中达到了最先进的结果。

🔬 方法详解

问题定义：本文旨在解决视频帧插值中的运动对齐问题，现有方法在处理复杂运动和遮挡时常常面临模糊对应关系的挑战。

核心思路：MASS框架通过将特征扫描从静态网格转变为动态运动轨迹，能够更准确地捕捉运动信息，从而提高插值质量。

技术框架：MASS的整体架构包括特征序列构建、速度感知SSM和一个用于流和掩膜修正的精细化模块。特征序列沿光流轨迹构建，SSM根据运动动态调整采样策略。

关键创新：MASS的主要创新在于引入了可学习的非线性路径积分和速度感知SSM，这使得采样策略能够根据运动幅度自适应调整，显著提升了插值效果。

关键设计：在设计中，MASS使用了动态采样预算和步长设置，确保在快速运动区域进行更密集的采样，同时保持静态区域的高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MASS在多个基准测试中达到了最先进的性能，特别是在大位移和复杂动态场景中，相较于现有方法提升了插值质量，具体性能数据未详述。

🎯 应用场景

该研究在视频处理、动画制作和虚拟现实等领域具有广泛的应用潜力。通过提高视频帧插值的质量，MASS能够为实时视频流和高帧率视频生成提供更好的支持，提升用户体验。

📄 摘要（原文）

Video frame interpolation (VFI) remains a challenging task, particularly when dealing with large, non-linear motions and complex occlusions. While flow-based methods are prevalent, they often struggle with ambiguous correspondences. Recent VFI methods based on selective State Space Models (SSMs) are still limited by static grid-based scanning that misaligns with physical motion. In this paper, we propose Motion-Aligned Selective Scan (MASS), a novel framework that reformulates feature scanning from static spatial grids to dynamic motion trajectories. MASS builds a feature sequence along each pixel's flow-guided trajectory and aggregates it with an SSM. Specifically, we introduce a learnable non-linear path integration to approximate complex curved trajectories via residual velocity updates, and a velocity-aware SSM that dynamically adjusts the sampling budget and step size based on motion magnitude. This adaptive strategy allocates denser sampling to fast-motion regions while keeping static regions efficient. Furthermore, the aggregated states guide a refinement module to rectify intermediate flows and masks in an end-to-end manner. Extensive experiments indicate that MASS achieves highly competitive overall performance on standard benchmarks, establishing state-of-the-art results particularly in challenging scenarios with large displacements and complex dynamics.