DreamX-Creator: Democratizing Native Audio-Video Generation at 2K Resolution

📄 arXiv: 2608.31106v1 📥 PDF

作者: Jiashu Zhu, Yanhao Zheng, Ruitian Tian, Rujing Dang, Shen Zhang, Bingze Song, Jiachen Lei, Ruimin Lin, Jiahong Wu, Xiangxiang Chu

分类: cs.CV, cs.SD

发布日期: 2026-08-31

💡 一句话要点

提出DreamX-Creator以解决音视频生成同步问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音视频生成 多模态融合 门控跨模态注意力 联合训练 强化学习

📋 核心要点

  1. 现有的视频生成方法往往忽略音频或在后续阶段合成，导致视觉与声音之间的建模不足。
  2. DreamX-Creator 1.0通过一个7B生成器实现音视频的联合生成，采用门控跨模态注意力机制提升同步效果。
  3. 该系统在生成高分辨率音视频方面表现优异，性能与当前最先进的开源系统相当。

📝 摘要（中文）

近年来的视频生成器往往忽略音频或在单独阶段合成音频，限制了视觉动态与声学事件的相互建模。我们提出了DreamX-Creator 1.0，这是一个以7B生成器为核心的紧凑型原生音视频生成系统。该生成器基于第一帧和文本提示，联合去噪音频和视频流。前半部分独立处理流，后半部分通过门控跨模态注意力结合，输出门调节每个活跃的跨模态注意力头输出。统一的音视频数据系统构建并过滤时间一致的片段，生成结构化的多模态注释，并将片段组织成能力导向的数据池。通过渐进式联合训练和音视频强化学习，进一步提升生成器性能。最终，DreamX-Creator 1.0实现了原生、同步的音视频生成，性能与现有开源系统竞争。我们希望通过发布紧凑型7B生成器和2K精炼器，推动原生音视频生成的民主化，为未来的统一音视频生成建模研究提供基础。

🔬 方法详解

问题定义：本论文旨在解决现有音视频生成方法中音频与视频之间缺乏同步建模的问题，现有方法往往将音频和视频分开处理，导致生成效果不佳。

核心思路：DreamX-Creator 1.0的核心思想是通过一个紧凑型的7B生成器，联合去噪音频和视频流，利用门控跨模态注意力机制实现音视频的同步生成。

技术框架：系统分为两个主要阶段：前半部分独立处理音频和视频流，后半部分通过门控跨模态注意力结合两者。统一的音视频数据系统负责构建和过滤时间一致的片段。

关键创新：最重要的创新在于引入了门控跨模态注意力机制，使得每个注意力头的输出能够根据当前的模态动态进行调节，从而实现更好的音视频同步。

关键设计：在训练过程中，采用渐进式联合训练和音视频强化学习，结合模态感知的多模态反馈，确保生成器能够有效处理音频和视频流的反馈信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DreamX-Creator 1.0在音视频生成的同步性和质量上达到了与现有最先进开源系统相当的性能，尤其在2K分辨率下的生成效果显著提升，展示了其在高分辨率音视频生成中的潜力。

🎯 应用场景

DreamX-Creator的潜在应用场景包括影视制作、游戏开发、虚拟现实等领域，能够为内容创作者提供高效的音视频生成工具，提升创作效率和质量。未来，该技术可能推动更多领域的多模态生成研究，促进人机交互的自然化。

📄 摘要（原文）

Recent video generators often omit audio or synthesize it in a separate stage, limiting reciprocal modeling of visual dynamics and acoustic events. We present DreamX-Creator 1.0, a compact native joint audio-video generation system centered on a 7B generator. Conditioned on a first frame and a text prompt, the generator jointly denoises modality-specialized audio and video streams. The streams are processed independently in the first half of the network and coupled in the latter half through Gated Cross-Modal Attention, whose token- and head-wise output gates modulate each active cross-modal attention-head output. A unified Audio-Video Data System constructs and filters temporally coherent clips, produces structured multimodal annotations, and organizes clips into capability-oriented data pools. Progressive Joint Training comprises two audio-video pre-training stages followed by High-Quality Finetuning. Audio-Video Reinforcement Learning further post-trains the generator with Modality-Aware Multimodal Feedback that routes video-, audio-, and cross-modal feedback to the corresponding streams. For high-resolution output, our Autoregressive 1-Step 2K Refinement pipeline adapts a bidirectional multi-step teacher into an autoregressive multi-step refiner and distills it into a student requiring one denoising evaluation per temporal chunk. Overall, DreamX-Creator 1.0 achieves native, synchronized audio-video generation with performance competitive with state-of-the-art open-source systems. By releasing our compact 7B generator and 2K Refiner, we seek to democratize native audio-video generation and provide an accessible foundation for future research in unified audio-video generative modeling.