Chimera: Designing and Chinchilla-Scaling Hybrid Visual Diffusion Transformers

📄 arXiv: 2607.28611v1 📥 PDF

作者: Chongjian Ge, Hanwen Jiang, Tianyu Wang, Jiuxiang Gu, Yiran Xu, Ziwen Chen, Shaoteng Liu, Jing Shi, Yicong Hong, Zefan Cai, Hailin Jin, Hao Tan

分类: cs.CV

发布日期: 2026-07-30

备注: 40 pages

💡 一句话要点

提出Chimera以解决高分辨率图像和长视频生成问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉生成 长视频生成 多模态处理 稀疏混合专家 扩散模型 高效计算 长上下文

📋 核心要点

  1. 现有的视觉生成方法在处理高分辨率图像和长视频时，面临全注意力机制的计算复杂度问题。
  2. Chimera通过混合视觉扩散架构，采用KDA和MLA等新技术，优化了长上下文处理和全局交互。
  3. 实验显示，Chimera在计算效率上比基线模型提升了1.7倍，且在零-shot生成任务中表现出色，FID降幅仅为6.5%。

📝 摘要（中文）

随着视觉生成对高分辨率图像、长视频和多模态上下文的需求增加，传统的全注意力机制的二次复杂度变得不可行。本文提出Chimera，一种混合视觉扩散骨干网络，采用原则性的扩展方案。Chimera在一个光栅顺序流中处理文本、图像和视频标记，无需位置嵌入。它结合了Kimi Delta Attention（KDA）以O(N)复杂度进行长上下文状态跟踪，交错的多头潜在注意力（MLA）实现直接的全局交互，以及模态感知的短卷积以捕捉局部时空上下文。稀疏专家混合（MoE）层在控制激活计算的同时扩展了容量。通过引入HeteroP模块化方案，Chimera能够根据每个张量的功能输入和模型深度在宽度和深度之间转移超参数。实验结果表明，Chimera在计算效率和生成质量上均有显著提升。

🔬 方法详解

问题定义：本文旨在解决高分辨率图像和长视频生成中的计算复杂度问题，现有方法在处理长上下文时效率低下，难以满足实际需求。

核心思路：Chimera通过设计混合视觉扩散架构，结合多种注意力机制和卷积方法，旨在提高计算效率和生成质量，同时降低全注意力机制的计算负担。

技术框架：Chimera的整体架构包括Kimi Delta Attention（KDA）用于长上下文跟踪，交错的多头潜在注意力（MLA）实现全局交互，以及模态感知的短卷积处理局部时空信息，最后通过稀疏MoE层扩展模型容量。

关键创新：最重要的创新在于HeteroP模块，它允许在模型宽度和深度之间灵活转移超参数，从而实现更高效的模型训练和推理。

关键设计：Chimera的设计中，采用了O(N)复杂度的KDA和MLA，结合短卷积以捕捉局部信息，同时通过稀疏MoE层控制计算激活，确保在大规模模型中保持高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Chimera在预训练扩散损失上比匹配的全注意力基线提升了1.7倍的计算效率，完整系统的效率提升达到7.3倍。此外，Chimera在零-shot生成任务中，从5秒训练片段成功推断出30秒视频，最后五秒的FID降幅仅为6.5%。

🎯 应用场景

Chimera的研究成果在多个领域具有广泛的应用潜力，包括高分辨率图像生成、长视频生成以及多模态内容创作等。其高效的计算能力和生成质量将推动视觉生成技术的发展，尤其是在需要处理复杂上下文的场景中，如电影制作、虚拟现实和增强现实等领域。

📄 摘要（原文）

Visual generation increasingly requires high-resolution images, long videos, and multimodal context, making the quadratic cost of full attention prohibitive. We introduce Chimera, a hybrid visual diffusion backbone with a principled scaling recipe. Chimera processes text, image, and video tokens in one raster-ordered stream without positional embeddings. It combines Kimi Delta Attention (KDA) for long-context state tracking with O(N) complexity, interleaved Multi-head Latent Attention (MLA) for direct global interaction, and modality-aware short convolutions for local spatiotemporal context. Sparse Mixture-of-Experts (MoE) layers expand capacity while controlling activated compute. To scale this heterogeneous architecture, we introduce HeteroP, a module-wise scheme that transfers hyperparameters across width and depth according to each tensor's functional fan-in and model depth. HeteroP yields a consistently tuned family used to fit Chinchilla-style compute-optimal laws for activated model size, training-token count, and image-video data ratio. Guided by these laws, we train an 11B-parameter Chimera with 2B activated parameters. Experiments show three results. First, measured by pretraining diffusion loss, the dense backbone is 1.7x as compute-efficient as a matched full-attention Wan-2.1 2B baseline, while the complete system reaches 7.3x. Second, without length-specific fine-tuning, Chimera extrapolates zero-shot from 5-second training clips to 30-second videos, with only 6.5% FID degradation in the last five seconds. Third, the fitted laws show that compute-optimal image pretraining divides compute nearly evenly between activated model size and training-token count, whereas video pretraining modestly favors model size at higher budgets. These results establish a foundation for designing and scaling efficient long-context diffusion architectures.