Efficient Multi-modal Video Fusion Network with Dynamic Region-Guided Temporal Interaction
作者: Jingxue Huang, Xiaosong Li, Yi Lin
分类: cs.CV
发布日期: 2026-10-26
💡 一句话要点
提出动态区域引导的多模态视频融合网络以提升视频融合质量
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 多模态融合 视频处理 时序一致性 动态区域引导 高效计算
📋 核心要点
- 现有视频融合方法依赖光流估计，导致计算开销大且易受估计误差影响。
- 提出动态区域引导的时序交互模块，利用测试时训练以线性复杂度建模时序依赖。
- 实验显示，本文方法在多个基准数据集上实现了优于现有方法的融合质量和时序一致性。
📝 摘要（中文）
多模态视频融合旨在通过整合来自异构传感器的互补信息，生成时序一致且具有显著目标和丰富结构细节的视频。然而，现有方法通常依赖光流估计和特征扭曲进行帧间对齐和跨帧信息聚合，这导致了较大的计算开销，并使融合性能易受流估计误差的影响。为了解决这些问题，本文提出了一种高效的多模态视频融合网络，采用动态区域引导的时序交互。该网络通过时空交互模块利用测试时训练范式，以线性复杂度建模时序依赖，并将时序建模限制在视频序列中的关键动态区域，从而提高了融合质量和时序一致性。实验结果表明，与现有最先进的方法相比，本文方法在多个基准数据集上实现了更优的融合质量和时序一致性，同时在边缘设备部署环境下展现出高计算效率。
🔬 方法详解
问题定义：本文旨在解决现有多模态视频融合方法在时序一致性和计算效率上的不足，尤其是光流估计带来的高计算开销和误差影响。
核心思路：通过引入动态区域引导的时序交互模块，限制时序建模在关键动态区域内，从而提高融合质量并减少不必要的计算。
技术框架：整体架构包括时空交互模块和特征级时序一致性约束，前者通过测试时训练建模时序依赖，后者通过对齐融合视频与源视频的帧间变化方向来抑制局部闪烁。
关键创新：提出的动态区域引导策略和基于MAE的时序度量是本文的核心创新，显著提高了融合质量和时序一致性，区别于传统方法的全局建模。
关键设计：采用特征级时序一致性约束，设计新的MAE基于时序度量来量化动态区域内的变化方向距离，确保融合效果的稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，本文方法在多个基准数据集上相较于现有最先进技术，融合质量提升了XX%，时序一致性提高了YY%，并在边缘设备上实现了高效计算，展示了良好的实用性。
🎯 应用场景
该研究具有广泛的应用潜力，特别是在视频监控、自动驾驶、虚拟现实等领域。通过提高多模态视频融合的质量和效率，该方法能够为实时视频处理提供更可靠的技术支持，推动相关行业的发展。
📄 摘要（原文）
Multi-modal video fusion aims to generate temporally coherent videos with salient targets and rich structural details by integrating complementary information from heterogeneous sensors. However, existing video fusion methods commonly rely on optical flow estimation and feature warping for inter-frame alignment and cross-frame information aggregation to maintain temporal consistency, thereby introducing considerable computational overhead and making the fusion performance vulnerable to flow estimation errors. To address these limitations, this paper proposes an efficient multi-modal video fusion network with dynamic region-guided temporal interaction. Specifically, the proposed spatio-temporal interaction module leverages the Test-Time Training paradigm to model temporal dependencies with linear complexity. Building on this design, the module restricts temporal modeling to key dynamic regions in the video sequence, as static background regions provide limited temporal cues. By excluding low-variation tokens from unnecessary temporal interaction, this selective strategy contributes to improved fusion quality and temporal consistency. In addition, leveraging the strong ability of pretrained MAE features to capture global structural dependencies, we introduce a feature-level temporal consistency constraint to suppress local flickering by aligning the inter-frame variation directions of the fused and source videos. We further propose a new MAE-based temporal metric that quantifies directional distance between their temporal variations within dynamic regions. Experimental results demonstrate that, compared with existing state-of-the-art methods, our method achieves superior fusion quality and temporal consistency on multiple benchmark datasets, while exhibiting high computational efficiency under edge-device deployment settings.