A Comprehensive Ecosystem for Open-Domain Customized Video Generation

作者: Jingxu Zhang, Yuqian Hong, Daneul Kim, Kai Qiu, Qi Dai, Jianmin Bao, Yifan Yang, Xiaoyan Sun, Chong Luo

分类: cs.CV

发布日期: 2026-06-10

备注: 5 pages, 3 figures, 4 tables. Accepted by ICASSP 2026

💡 一句话要点

提出PexelsCustom-1M数据集与CustoMDiT框架以解决开放域定制视频生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放域视频生成 定制视频生成 多模态学习 数据集构建 深度学习框架 身份保留 参数效率 视频合成

📋 核心要点

1. 开放域定制视频生成面临缺乏大规模标注数据集的问题，现有方法无法捕捉多样的身份特征。
2. 本文提出PexelsCustom-1M数据集和CustoMDiT框架，前者提供了丰富的身份特征数据，后者通过少量参数调整实现定制视频生成。
3. 实验结果表明，CustoMDiT在多个基准上超越了现有最先进技术，且OpenCustom基准涵盖了更多类别，提升了模型的实用性。

📝 摘要（中文）

近年来，视频生成技术在视觉合成方面取得了显著进展。然而，开放域定制视频生成受到缺乏大规模标注数据集的限制，无法捕捉多样的身份特征。为此，本文引入了PexelsCustom-1M，这是第一个公开的百万规模身份保留视频生成数据集，包含100万个精心策划的<身份、文本、视频>三元组，涵盖8000多个类别。基于此，我们提出了CustoMDiT，一个参数高效的框架，仅需额外8%的可学习参数即可将预训练的多模态扩散变换器转化为定制视频生成器。我们的模型超越了现有的最先进技术，但现有基准如DreamBooth仅覆盖100个类别，无法满足实际应用需求。为此，我们构建了OpenCustom，一个新的基准，涵盖1000多个类别，通过跨数据集知识融合自ImageNet和MS-COCO。大量实验验证了我们数据集和模型的优势，并计划开源整个生态系统以支持进一步研究。

🔬 方法详解

问题定义：本文旨在解决开放域定制视频生成中缺乏大规模、标注数据集的问题。现有方法如DreamBooth仅覆盖有限类别，无法满足多样化的实际应用需求。

核心思路：我们提出PexelsCustom-1M数据集，包含100万个<身份、文本、视频>三元组，旨在提供丰富的身份特征数据。同时，CustoMDiT框架通过少量额外参数调整，利用预训练的多模态扩散变换器实现高效的定制视频生成。

技术框架：CustoMDiT框架的整体架构包括数据输入模块、特征提取模块和视频生成模块。数据输入模块负责处理PexelsCustom-1M数据集，特征提取模块利用预训练模型提取多模态特征，视频生成模块则基于这些特征生成定制视频。

关键创新：最重要的技术创新在于CustoMDiT框架的参数效率，仅需8%的额外可学习参数即可实现定制视频生成，这与现有方法相比显著降低了计算成本。

关键设计：在模型设计中，我们使用了特定的损失函数以确保生成视频的身份保留特性，同时优化了网络结构以提高生成质量和速度。

🖼️ 关键图片

📊 实验亮点

实验结果显示，CustoMDiT在多个基准测试中超越了现有最先进技术，特别是在OpenCustom基准上，模型能够处理超过1000个类别，相较于DreamBooth的100个类别，显著提升了生成的多样性和实用性。

🎯 应用场景

该研究的潜在应用领域包括影视制作、广告创意、游戏开发等，能够为内容创作者提供高效的定制视频生成工具。通过丰富的身份特征数据集和高效的生成框架，未来可能推动个性化视频内容的广泛应用，提升用户体验。

📄 摘要（原文）

Recent progress in video generation has shown impressive visual synthesis capabilities. However, open-domain customized video generation remains limited by the lack of large-scale, annotated datasets capturing diverse identity-specific attributes. To address this, we introduce PexelsCustom-1M, the first publicly available million-scale dataset for identity-preserving video generation, containing one million curated triplets across 8,000+ categories. Leveraging this, we propose CustoMDiT, a parameter-efficient framework that adapts a pretrained multimodal Diffusion Transformer into a customized video generator with only 8% additional learnable parameters. Our method surpasses prior state-of-the-art. However, benchmarks such as DreamBooth cover only 100 classes, which is insufficient for real-world applications. To overcome this, we construct OpenCustom, a new benchmark with 1,000+ categories, created via cross-dataset knowledge fusion from ImageNet and MS-COCO. Extensive experiments confirm the advantages of both our dataset and model. We will open-source the entire ecosystem--including dataset, pipeline, benchmark, and implementations--to support further research.