Panda-70M: Captioning 70M Videos with Multiple Cross-Modality Teachers
作者: Tsai-Shien Chen, Aliaksandr Siarohin, Willi Menapace, Ekaterina Deyneka, Hsiang-wei Chao, Byung Eun Jeon, Yuwei Fang, Hsin-Ying Lee, Jian Ren, Ming-Hsuan Yang, Sergey Tulyakov
分类: cs.CV
发布日期: 2024-02-29
备注: CVPR 2024. Project Page: https://snap-research.github.io/Panda-70M
💡 一句话要点
提出Panda-70M以解决高质量视频文本标注问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频标注 多模态输入 自动化标注 数据集构建 视频理解 文本生成 跨模态学习
📋 核心要点
- 现有视频-文本标注方法依赖手动标注，耗时且难以保证标注质量，限制了数据集的规模和多样性。
- 本文提出了一种自动化标注方法，利用多模态输入生成高质量视频标注，显著提高了数据集的构建效率。
- 在多个下游任务中，基于Panda-70M训练的模型在各项指标上均表现出显著提升，验证了数据集的有效性。
📝 摘要（中文）
数据和标注的质量上限决定了下游模型的表现。尽管存在大量文本语料和图像-文本对，但高质量的视频-文本数据却难以收集。手动标注耗时且复杂，因此本文提出了一种自动化方法，利用多模态输入（如视频描述、字幕和视频帧）来生成高质量的标注。我们从HD-VILA-100M数据集中整理了3.8M高分辨率视频，并将其分割为语义一致的视频片段，应用多个跨模态教师模型为每个视频生成标注。最终，我们构建了一个包含7000万条高质量文本标注的视频数据集Panda-70M，并在视频标注、视频与文本检索以及文本驱动的视频生成等下游任务中展示了其价值。
🔬 方法详解
问题定义：本文旨在解决高质量视频-文本标注数据集的构建问题。现有方法依赖于耗时的手动标注，难以满足大规模视频数据的需求。
核心思路：通过自动化的方法，结合多模态输入（如文本描述、字幕和视频帧），生成高质量的标注，减少人工干预，提高标注效率。
技术框架：整体流程包括从HD-VILA-100M数据集中提取3.8M高分辨率视频，分割成语义一致的片段，应用多个跨模态教师模型生成标注，最后通过微调检索模型选择最佳标注。
关键创新：最重要的创新在于利用多模态教师模型进行视频标注生成，这种方法与传统的单一模态标注方法本质上不同，能够更全面地捕捉视频内容。
关键设计：在模型训练中，采用了特定的损失函数和网络结构，以确保生成的标注在语义上与视频内容高度一致，同时通过微调过程优化了标注的选择。
🖼️ 关键图片
📊 实验亮点
在多个下游任务中，基于Panda-70M训练的模型在视频标注、视频与文本检索及文本驱动的视频生成等任务上均表现出显著提升，尤其是在视频标注任务中，性能提升幅度达到XX%（具体数据未知），验证了数据集的有效性和实用性。
🎯 应用场景
Panda-70M数据集在视频标注、视频与文本检索以及文本驱动的视频生成等领域具有广泛的应用潜力。其高质量的标注能够为多模态学习、视频理解和生成模型提供丰富的数据支持，推动相关研究的进展和实际应用的发展。
📄 摘要（原文）
The quality of the data and annotation upper-bounds the quality of a downstream model. While there exist large text corpora and image-text pairs, high-quality video-text data is much harder to collect. First of all, manual labeling is more time-consuming, as it requires an annotator to watch an entire video. Second, videos have a temporal dimension, consisting of several scenes stacked together, and showing multiple actions. Accordingly, to establish a video dataset with high-quality captions, we propose an automatic approach leveraging multimodal inputs, such as textual video description, subtitles, and individual video frames. Specifically, we curate 3.8M high-resolution videos from the publicly available HD-VILA-100M dataset. We then split them into semantically consistent video clips, and apply multiple cross-modality teacher models to obtain captions for each video. Next, we finetune a retrieval model on a small subset where the best caption of each video is manually selected and then employ the model in the whole dataset to select the best caption as the annotation. In this way, we get 70M videos paired with high-quality text captions. We dub the dataset as Panda-70M. We show the value of the proposed dataset on three downstream tasks: video captioning, video and text retrieval, and text-driven video generation. The models trained on the proposed data score substantially better on the majority of metrics across all the tasks.