MUNI: Multimodal Unified Latent Diffusion for Coherent Any-to-Any Generation

📄 arXiv: 2606.16408v1 📥 PDF

作者: Kyeongmin Yeo, Yunhong Min, Minhyuk Sung

分类: cs.LG

发布日期: 2026-06-15

备注: Project page: https://muni-proj.github.io/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出MUNI以解决多模态生成中的一致性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态生成 潜在扩散 联合训练 一致性 生成模型 图像生成 文本生成 音频合成

📋 核心要点

  1. 现有多模态生成模型多依赖于大型语言模型，限制了模态特定生成器的使用，并需要配对数据进行训练。
  2. MUNI通过端到端的潜在扩散框架，联合训练模态特定编码器和解码器，克服了传统方法的局限性。
  3. 在PolyMNIST-Quadrant-Labels和大规模图像-文本-音频基准上，MUNI在条件生成和无条件一致性上均表现优异。

📝 摘要（中文）

我们介绍了MUNI，一个端到端的多模态潜在扩散框架，实现任意到任意的生成，统一了子集条件的跨模态生成和无条件的联合采样。现有的多模态生成模型主要基于大型语言模型（LLM），这限制了对特定模态生成器的利用，并且需要配对文本数据进行训练。MUNI通过共同训练模态特定编码器、表达性解码器和单一共享流动先验，解决了现有方法的局限性。实验结果表明，MUNI在条件生成上与最强基线相匹配或超越，在无条件一致性上展现出更大的优势。

🔬 方法详解

问题定义：论文旨在解决现有多模态生成模型在一致性和训练数据依赖性方面的不足，尤其是对文本对齐嵌入和完全配对训练的依赖。

核心思路：MUNI通过扩展潜在扩散模型，实现多模态的任意到任意生成，采用共享的随机潜在空间进行联合训练，避免了传统的两阶段方法。

技术框架：MUNI的整体架构包括模态特定的编码器、表达性解码器和一个共享的流动先验，所有模块在一个目标下共同训练，形成一个端到端的生成系统。

关键创新：MUNI的主要创新在于提出了一种新的训练目标，确保生成模态之间的一致性、子集潜在的预测充分性和潜在内容的最小性，显著提升了生成质量。

关键设计：在设计中，MUNI采用了路由训练目标，结构选择与潜在特征对齐，确保生成结果的高质量和一致性，同时在损失函数和网络结构上进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MUNI在条件生成任务中与最强基线相匹配或超越，并在无条件一致性方面展现出显著的优势，尤其在PolyMNIST-Quadrant-Labels和大规模图像-文本-音频基准上，提升幅度明显。

🎯 应用场景

MUNI的研究成果在多模态生成领域具有广泛的应用潜力，能够用于图像生成、文本生成和音频合成等多个领域。其高效的生成能力和一致性特征使其在艺术创作、虚拟现实和人机交互等场景中具有重要的实际价值和未来影响。

📄 摘要（原文）

We introduce MUNI, an end-to-end multimodal latent diffusion framework for any-to-any generation that unifies subset-conditioned cross-modal generation and unconditional joint sampling through a shared stochastic latent. Existing multimodal generative models are largely LLM-based, which limits leveraging modality-specific generators and requires text-paired data for training. Recent diffusion- and flow-based any-to-any extensions take a different direction but still rely on text-aligned embeddings, fully-paired training, or matched-dimensionality deterministic mappings. MUNI rests on two complementary contributions, one architectural and one in the training objective. First, we extend latent diffusion to multimodal any-to-any generation end-to-end: instead of the standard two-stage recipe that precomputes a frozen latent space and then fits a prior over it, MUNI jointly trains modality-specific encoders, expressive decoders, and a single shared flow-based prior under one objective. Second, we identify that the standard aggregation rules of multimodal variational inference are insufficient once coupled with a learned prior and expressive decoders. A suitable shared latent must simultaneously satisfy coherence across generated modalities, predictive sufficiency of subset latents, and minimality of the latent content. We propose a routed training objective whose structural choices align the latent with these criteria and admit a minimal-sufficiency characterization in the realizable setting. Experiments on PolyMNIST-Quadrant-Labels and a large-scale image-text-audio benchmark show MUNI matching or exceeding the strongest baselines on conditional generation while opening its largest margins on unconditional coherence. Project page: https://muni-proj.github.io/.