A Video is Worth 10,000 Words: Training and Benchmarking with Diverse Captions for Better Long Video Retrieval
作者: Matthew Gwilliam, Michael Cogswell, Meng Ye, Karan Sikka, Abhinav Shrivastava, Ajay Divakaran
分类: cs.CV, cs.CL
发布日期: 2023-11-30 (更新: 2024-12-09)
备注: 17 pages, 16 tables, 8 figures. To appear at WACV 2025
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出多样化字幕生成方法以提升长视频检索性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长视频检索 合成字幕 多样化描述 视频语言模型 微调训练
📋 核心要点
- 现有长视频检索方法仅依赖单一长段描述，无法充分利用视频的多样性和丰富性。
- 本文提出一种新颖的管道，通过大型语言模型生成多样化的合成字幕，以提升长视频检索的评估和性能。
- 实验结果显示，基于合成字幕的微调在ActivityNet数据集上提升了2.8%的R@1，且在标准段落检索中也有1.0%的提升。
📝 摘要（中文）
现有的长视频检索系统通常在段落到视频的检索模式下进行训练和测试，每个长视频仅用一段长文本描述。这种方法忽视了视频可能的多样化描述，无法全面评估检索系统的能力。为此，本文提出了一种利用先进的大型语言模型生成多样化合成字幕的管道，并通过严格的人为检查验证其准确性。实验表明，基于合成字幕的微调可以显著提升检索性能，尤其是在短字幕的检索任务中表现出色。
🔬 方法详解
问题定义：本文旨在解决现有长视频检索系统在段落到视频检索中仅依赖单一长段描述的问题，导致无法充分评估视频的多样性和丰富性。
核心思路：通过利用先进的大型语言模型生成多样化的合成字幕，提供更全面的检索评估和训练数据，从而提升长视频检索系统的性能。
技术框架：整体架构包括三个主要模块：1) 合成字幕生成模块，利用大型语言模型生成多样化字幕；2) 人工验证模块，确保生成字幕的准确性；3) 微调与评估模块，基于合成字幕对视频语言模型进行微调和性能评估。
关键创新：最重要的创新在于提出了合成字幕生成的管道，能够生成多样化的描述，显著提升了长视频检索的能力，与传统方法相比，能够更好地处理短字幕检索任务。
关键设计：在参数设置上，采用了多样化的生成策略，并在损失函数中引入了对生成字幕多样性的约束，以确保生成的字幕既准确又具有多样性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于合成字幕的微调在ActivityNet数据集上实现了2.8%的R@1提升，相较于现有最先进技术表现出色。此外，在标准段落到视频检索中也实现了1.0%的R@1提升，证明了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括视频检索、内容推荐和多媒体信息检索等。通过提升长视频检索的准确性和效率，可以为用户提供更为精准的内容推荐，进而改善用户体验。未来，该方法还可能扩展到其他多模态学习任务中，推动相关领域的发展。
📄 摘要（原文）
Existing long video retrieval systems are trained and tested in the paragraph-to-video retrieval regime, where every long video is described by a single long paragraph. This neglects the richness and variety of possible valid descriptions of a video, which could range anywhere from moment-by-moment detail to a single phrase summary. To provide a more thorough evaluation of the capabilities of long video retrieval systems, we propose a pipeline that leverages state-of-the-art large language models to carefully generate a diverse set of synthetic captions for long videos. We validate this pipeline's fidelity via rigorous human inspection. We use synthetic captions from this pipeline to perform a benchmark of a representative set of video language models using long video datasets, and show that the models struggle on shorter captions. We show that finetuning on this data can both mitigate these issues (+2.8% R@1 over SOTA on ActivityNet with diverse captions), and even improve performance on standard paragraph-to-video retrieval (+1.0% R@1 on ActivityNet). We also use synthetic data from our pipeline as query expansion in the zero-shot setting (+3.4% R@1 on ActivityNet). We derive insights by analyzing failure cases for retrieval with short captions. For data access and other details, please refer to our project website at https://mgwillia.github.io/10k-words.