M2-RAAP: A Multi-Modal Recipe for Advancing Adaptation-based Pre-training towards Effective and Efficient Zero-shot Video-text Retrieval

📄 arXiv: 2401.17797v1 📥 PDF

作者: Xingning Dong, Zipeng Feng, Chunluan Zhou, Xuzheng Yu, Ming Yang, Qingpei Guo

分类: cs.CV

发布日期: 2024-01-31

🔗 代码/项目: GITHUB

💡 一句话要点

提出M2-RAAP以解决视频-文本检索中的适应性预训练问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频-文本检索 适应性预训练 多模态学习 数据过滤 关键帧选择 特征增强 辅助字幕引导 零-shot学习

📋 核心要点

  1. 现有的适应性视频-文本预训练方法面临数据噪声、预训练时间长和性能提升有限等挑战。
  2. 论文提出的M2-RAAP方法通过数据过滤、关键帧替代和辅助字幕引导策略来提升预训练效果。
  3. 实验结果显示，M2-RAAP在数据使用上减少了90%，时间消耗减少了95%，并在多个数据集上达到了新的SOTA。

📝 摘要（中文）

本文提出了一种名为M2-RAAP的多模态配方，旨在提升基于适应性预训练的零-shot视频-文本检索的有效性和效率。针对现有方法面临的数据噪声、预训练耗时和性能提升有限等问题，研究涵盖了数据过滤与精炼、视频输入类型选择、时间建模和视频特征增强四个关键步骤。通过这些研究，提出了数据过滤和文本重写管道、用关键帧替代视频输入以加速预训练，以及辅助字幕引导策略来增强视频特征。实验结果表明，M2-RAAP在数据和时间消耗上显著减少，同时在多个数据集上实现了新的SOTA。

🔬 方法详解

问题定义：本研究旨在解决现有适应性视频-文本预训练方法中的数据噪声、预训练时间过长及性能提升有限等问题。这些问题导致了视频-文本检索效果不理想。

核心思路：M2-RAAP的核心思路是通过四个关键步骤来优化视频-文本预训练过程，包括数据过滤、视频输入选择、时间建模和特征增强。这种设计旨在提高数据质量和训练效率。

技术框架：M2-RAAP的整体架构包括数据过滤与精炼、关键帧选择、时间建模和特征增强四个模块。首先，通过数据过滤提升数据质量；其次，使用关键帧替代完整视频以加速训练；然后，进行时间建模以捕捉视频中的动态信息；最后，通过辅助字幕引导策略增强视频特征。

关键创新：M2-RAAP的主要创新在于提出了数据过滤和文本重写管道，生成了100万对高质量的双语视频-文本对。此外，使用关键帧替代视频输入显著加快了预训练速度，辅助字幕引导策略则有效增强了视频特征。

关键设计：在关键设计方面，论文详细描述了数据过滤的标准、关键帧选择的策略以及辅助字幕引导的具体实现。这些设计确保了模型在训练过程中的高效性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，M2-RAAP在多个数据集上达到了新的SOTA，数据使用量减少了90%，时间消耗减少了95%。这些结果展示了M2-RAAP在零-shot视频-文本检索中的优越性能，验证了其在适应性预训练中的有效性。

🎯 应用场景

该研究的潜在应用领域包括视频检索、内容推荐和多模态学习等。M2-RAAP的高效预训练方法能够在实际应用中显著提升视频-文本检索的准确性和速度，具有广泛的商业价值和研究意义。未来，该方法可扩展至更多模态的融合与应用场景。

📄 摘要（原文）

We present a Multi-Modal Recipe for Advancing Adaptation-based Pre-training towards effective and efficient zero-shot video-text retrieval, dubbed M2-RAAP. Upon popular image-text models like CLIP, most current adaptation-based video-text pre-training methods are confronted by three major issues, i.e., noisy data corpus, time-consuming pre-training, and limited performance gain. Towards this end, we conduct a comprehensive study including four critical steps in video-text pre-training. Specifically, we investigate 1) data filtering and refinement, 2) video input type selection, 3) temporal modeling, and 4) video feature enhancement. We then summarize this empirical study into the M2-RAAP recipe, where our technical contributions lie in 1) the data filtering and text re-writing pipeline resulting in 1M high-quality bilingual video-text pairs, 2) the replacement of video inputs with key-frames to accelerate pre-training, and 3) the Auxiliary-Caption-Guided (ACG) strategy to enhance video features. We conduct extensive experiments by adapting three image-text foundation models on two refined video-text datasets from different languages, validating the robustness and reproducibility of M2-RAAP for adaptation-based pre-training. Results demonstrate that M2-RAAP yields superior performance with significantly reduced data (-90%) and time consumption (-95%), establishing a new SOTA on four English zero-shot retrieval datasets and two Chinese ones. We are preparing our refined bilingual data annotations and codebase, which will be available at https://github.com/alipay/Ant-Multi-Modal-Framework/tree/main/prj/M2_RAAP.