UniDDT: Unifying Multimodal Understanding and Generation with Decoupled Diffusion Transformer

📄 arXiv: 2606.16255v1 📥 PDF

作者: Shuai Wang, Liang Li, Yang Chen, Ruopeng Gao, Yao Teng, Limin Wang

分类: cs.CV

发布日期: 2026-06-15

备注: This work was completed in \textbf{November 2025}

💡 一句话要点

提出UniDDT以解决多模态理解与生成的统一问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 视觉理解 生成任务 扩散解码 语义编码 Noisy ViT 大型语言模型 模型解耦

📋 核心要点

  1. 现有的统一多模态模型面临视觉理解与生成任务之间的学习冲突，导致两者建模效果不佳。
  2. 本文提出UniDDT，通过Noisy ViT编码器和独立的扩散解码器，解决理解与生成任务的统一问题。
  3. 实验结果显示，UniDDT在生成任务中获得0.87的GenEval分数和86.9的DPG总分，在理解任务中获得1699.5的MME基准分数和76.5的SEEDbench总分。

📝 摘要（中文）

统一多模态模型（UMMs）已成为通用多模态智能的重要方向，将理解与生成整合到一个框架中。然而，现有UMMs面临显著挑战，包括视觉理解与生成任务之间的学习冲突、不同的理解与生成视觉空间限制了可扩展性，以及对特定任务数据的过度依赖。为了解决这些问题，本文提出了UniDDT，利用Noisy ViT编码器和大型语言模型（LLM）统一语义编码，同时采用独立的扩散解码器将扩散解码与文本解码解耦。UniDDT通过潜在空间作为统一的视觉表示，实现理解与生成任务之间的无缝兼容。实验结果表明，UniDDT在多模态理解与生成任务中实现了有效的统一，增强了语义一致性和可扩展性。

🔬 方法详解

问题定义：本文旨在解决现有统一多模态模型在视觉理解与生成任务中的学习冲突和可扩展性问题。现有方法在处理这两类任务时，往往会导致性能下降和模型复杂性增加。

核心思路：UniDDT的核心思路是通过引入Noisy ViT编码器和独立的扩散解码器，分别处理视觉理解和生成任务，从而实现两者的解耦与统一。这样的设计使得模型能够在同一框架内高效地进行多模态任务。

技术框架：UniDDT的整体架构包括三个主要模块：Noisy ViT编码器用于语义编码，独立的扩散解码器用于生成任务，以及大型语言模型（LLM）用于文本处理。这些模块协同工作，实现了多模态任务的有效整合。

关键创新：UniDDT的关键创新在于将扩散解码与文本解码解耦，允许模型在处理视觉生成时不受文本生成的限制。这一设计与现有方法的本质区别在于其灵活性和可扩展性。

关键设计：在模型设计中，采用了特定的损失函数以平衡理解与生成任务的训练，同时在网络结构上，Noisy ViT编码器的参数设置经过精心调整，以优化语义表示的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

UniDDT在多模态生成任务中取得了0.87的GenEval分数和86.9的DPG总分，在理解任务中获得了1699.5的MME基准分数和76.5的SEEDbench总分，显示出显著的性能提升，验证了其在多模态任务中的有效性。

🎯 应用场景

UniDDT的研究成果在多个领域具有潜在应用价值，包括智能助手、自动内容生成、图像描述生成等。通过实现多模态理解与生成的统一，UniDDT能够提升人机交互的自然性和智能化水平，推动相关技术的进一步发展。

📄 摘要（原文）

Unified Multimodal Models (UMMs) have emerged as a critical direction for general-purpose multimodal intelligence, integrating understanding and generation into a single framework. However, existing UMMs face prominent challenges: (1) the inherent learning conflicts between visual understanding and generation tasks, leading to suboptimal modeling in both tasks; (2) different understanding and generation visual spaces impeding scalability; (3) over-reliance on task-specific data that neglects the duality of text-image understanding and generation. To address these challenges, we propose UniDDT, which leverages a Noisy ViT encoder along with an LLM to unify semantic encoding for visual generation and understanding tasks, while employing a separate diffusion decoder to decouple diffusion decoding from text decoding. With this Noisy ViT encoder, UniDDT is able to leverage the latent space as a unified visual representation, enabling seamless compatibility between understanding and generation tasks. Thus, the scalability within the generation tasks and the semantic expressiveness within understanding tasks can be balanced. Also, we construct dual data structures from the same image-text pairs, fostering interdependence between the generation and understanding data to exploit their inherent duality. Extensive experiments demonstrate that UniDDT achieves effective unification of multimodal understanding and generation with enhanced semantic consistency and scalability. For visual generation tasks, our UniDDT achieves 0.87 GenEval score and 86.9 DPG overall score. For multimodal understanding tasks, our UniDDT achieves 1699.5 score on MME benchmark and 76.5 overall score on SEEDbench.