LAION-BVD: A 10-Million-Hour Open Video Dataset for Multimodal Pre-training

📄 arXiv: 2608.24845v1 📥 PDF

作者: Andreas Hochlehnert, Marianna Nezhurina, Mehdi Cherti, Andrej Radonjic, Thaddäus Wiedemer, Christoph Schuhmann, Romain Beaumont, Wieland Brendel, Bernhard Schölkopf, A. Sophia Koepke, Jenia Jitsev, Matthias Bethge

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-08-25

💡 一句话要点

提出LAION-BVD以解决多模态预训练数据不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 开放数据集 视频理解 音频分析 图像-文本检索 场景检测 数据合成

📋 核心要点

  1. 现有多模态学习数据集规模有限，难以满足大规模模型训练的需求。
  2. LAION-BVD通过收集和处理大量视频数据，提供了一个丰富的多模态预训练数据集。
  3. 基于该数据集训练的模型在视频-文本和音频-文本任务上表现优异，且随着模型规模的增加，性能持续提升。

📝 摘要（中文）

我们提出了LAION-BVD，这是一个大规模开放视频数据集，旨在支持多模态学习。该数据集包含从CommonCrawl收集的13亿个平台特定视频URL，并下载了8000万段视频，总时长达到1000万小时。数据集设计用于视频、音频和图像模态的多模态预训练。通过内容感知场景检测，我们提取了片段并合成生成视频和音频标题。基于这些数据训练的模型在标准视频-文本和音频-文本基准上表现出竞争力，并随着训练或模型规模的增加而持续提升。此外，我们还通过提取场景变化帧探索视频帧作为图像-文本数据的替代来源，这些帧在视觉分布上与标准网络图像语料库显著不同。我们向研究社区发布LAION-BVD，显著扩大了开放获取多模态视频的规模。

🔬 方法详解

问题定义：现有多模态学习数据集往往规模较小，无法支持大规模模型的训练，导致模型性能受限。

核心思路：LAION-BVD通过从CommonCrawl中收集大量视频URL，并下载和处理这些视频，提供了一个丰富的多模态数据集，旨在提升多模态学习的效果。

技术框架：数据集的构建包括视频下载、内容感知场景检测、片段提取和合成生成视频及音频标题等多个模块。每个模块都针对多模态学习的需求进行了优化。

关键创新：LAION-BVD的最大创新在于其规模和多样性，尤其是通过提取场景变化帧作为图像-文本数据的替代来源，显著提升了模型在图像-文本检索任务中的表现。

关键设计：在数据处理过程中，采用了内容感知场景检测技术，确保提取的片段具有代表性。同时，合成生成的标题使用了先进的自然语言处理技术，以提高数据的质量和多样性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

基于LAION-BVD训练的模型在标准视频-文本和音频-文本基准上表现出色，随着模型规模的增加，性能持续提升，展示了该数据集在多模态学习中的有效性和潜力。

🎯 应用场景

LAION-BVD的数据集可广泛应用于多模态学习、视频理解、音频分析等领域。其开放性和大规模特性将推动相关研究的发展，促进更复杂的多模态模型的训练和应用，具有重要的实际价值和未来影响。

📄 摘要（原文）

We present LAION-BVD, a large-scale open video dataset for multimodal learning, which contains 1.3B platform-specific video URLs collected from CommonCrawl. From these, we download 80M videos with a total duration of 10 million hours. The dataset is designed for multimodal pre-training across the video, audio, and image modalities. Using content-aware scene detection, we extract clips for which we synthetically generate video and audio captions. Models trained on these data achieve competitive performance on standard video-text and audio-text benchmarks, with consistent improvements as training or model scale increases. Additionally, we explore video frames as an alternative source of image-text data by extracting scene-changing frames. These frames exhibit a visual distribution distinct from standard web image corpora, and models trained on this dataset achieve strong image-text retrieval performance. We release LAION-BVD to the research community. It significantly expands open access to multimodal videos at an unprecedented scale.