$R^2$-Tuning: Efficient Image-to-Video Transfer Learning for Video Temporal Grounding

📄 arXiv: 2404.00801v2 📥 PDF

作者: Ye Liu, Jixuan He, Wanhua Li, Junsik Kim, Donglai Wei, Hanspeter Pfister, Chang Wen Chen

分类: cs.CV

发布日期: 2024-03-31 (更新: 2024-07-21)

备注: ECCV 2024 Camera Ready

🔗 代码/项目: GITHUB

💡 一句话要点

提出$R^2$-Tuning以解决视频时序定位问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 视频时序定位 转移学习 CLIP特征 空间-时间建模 轻量级网络 深度学习 视频理解

📋 核心要点

  1. 现有VTG模型依赖复杂的时间骨干网络，导致计算资源消耗大且效率低下。
  2. 提出$R^2$-Tuning框架，通过轻量级$R^2$模块实现高效的空间-时间建模，充分利用CLIP的层次特征。
  3. 在六个公共基准上进行的实验表明，$R^2$-Tuning在三项VTG任务上均取得了最先进的性能，且无需额外的时间骨干网络。

📝 摘要（中文）

视频时序定位（VTG）是一项细粒度的视频理解任务，旨在根据自然语言查询在未剪辑视频中定位相关片段。现有VTG模型主要基于逐帧的最终层CLIP特征，并辅以复杂的时间推理机制。本文提出了$R^2$-Tuning，一种高效的转移学习框架，利用CLIP的不同层次信息进行空间-时间建模。该方法通过轻量级的$R^2$模块，逐步聚合空间特征并在给定查询的条件下优化时间相关性，最终在六个公共基准上实现了三项VTG任务的最先进性能，展示了该方案的有效性。

🔬 方法详解

问题定义：本文旨在解决视频时序定位（VTG）中的高效特征提取问题。现有方法依赖复杂的时间骨干网络，导致计算资源消耗大且效率低下。

核心思路：$R^2$-Tuning框架的核心思想是利用CLIP模型的多层特征进行空间-时间建模。通过聚合不同层次的信息，可以更有效地捕捉视频中的时序关系。

技术框架：该方法主要包括一个轻量级的$R^2$模块，该模块从CLIP的最后一层开始，逐层回溯聚合空间特征，并在给定查询的条件下优化时间相关性，形成粗到细的建模过程。

关键创新：$R^2$-Tuning的主要创新在于其参数和内存效率，$R^2$模块仅占总参数的1.5%，显著降低了计算开销，同时保持了高效的时序建模能力。

关键设计：在设计上，$R^2$模块通过递归聚合空间特征，并结合查询信息进行时间相关性优化，采用了适应性损失函数以提高模型的学习效率。整体结构简洁，易于实现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

$R^2$-Tuning在六个公共基准上实现了三项VTG任务的最先进性能，具体表现为在QVHighlights、Charades-STA、Ego4D-NLQ等数据集上均超越了现有的最佳模型，展示了显著的性能提升，且无需额外的时间骨干网络。

🎯 应用场景

该研究的潜在应用领域包括视频监控、视频检索、智能推荐系统等。通过高效的视频时序定位，能够提升用户在海量视频数据中的信息获取效率，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Video temporal grounding (VTG) is a fine-grained video understanding problem that aims to ground relevant clips in untrimmed videos given natural language queries. Most existing VTG models are built upon frame-wise final-layer CLIP features, aided by additional temporal backbones (e.g., SlowFast) with sophisticated temporal reasoning mechanisms. In this work, we claim that CLIP itself already shows great potential for fine-grained spatial-temporal modeling, as each layer offers distinct yet useful information under different granularity levels. Motivated by this, we propose Reversed Recurrent Tuning ($R^2$-Tuning), a parameter- and memory-efficient transfer learning framework for video temporal grounding. Our method learns a lightweight $R^2$ Block containing only 1.5% of the total parameters to perform progressive spatial-temporal modeling. Starting from the last layer of CLIP, $R^2$ Block recurrently aggregates spatial features from earlier layers, then refines temporal correlation conditioning on the given query, resulting in a coarse-to-fine scheme. $R^2$-Tuning achieves state-of-the-art performance across three VTG tasks (i.e., moment retrieval, highlight detection, and video summarization) on six public benchmarks (i.e., QVHighlights, Charades-STA, Ego4D-NLQ, TACoS, YouTube Highlights, and TVSum) even without the additional backbone, demonstrating the significance and effectiveness of the proposed scheme. Our code is available at https://github.com/yeliudev/R2-Tuning.