MMDiff: Extending Diffusion Transformers for Multi-Modal Generation
作者: Yagmur Akarken, Orest Kupyn, Christian Rupprecht
分类: cs.CV
发布日期: 2026-06-15
💡 一句话要点
提出MMDiff以实现多模态生成的高效框架
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 扩散变换器 多模态生成 语义分割 显著物体检测 深度估计 合成数据生成
📋 核心要点
- 现有的扩散变换器在生成过程中丢弃了丰富的感知表示，限制了多模态生成的能力。
- MMDiff框架通过将冻结的扩散变换器与轻量解码头结合，实现了多模态生成，保留了去噪轨迹中的感知信息。
- 实验结果表明，MMDiff在语义分割上提升了28.7%的mIoU，相较于单时间步提取效果显著，且在多个任务中表现优异。
📝 摘要（中文）
扩散变换器在生成能力上表现出色，但在内容渲染后，其在去噪轨迹中计算的丰富感知表示被丢弃。本文提出MMDiff框架，将冻结的扩散变换器转变为一个多模态生成系统，能够联合生成图像及任意组合的密集感知模态，使用轻量解码头。研究发现，感知信息在去噪轨迹中是时间分布的，多时间步特征融合与空间变化加权聚合是关键，显著提升语义分割结果。通过仅训练轻量解码头，MMDiff在语义分割、显著物体检测和深度估计等任务中表现出色，展示了其在大规模合成数据生成中的有效性。
🔬 方法详解
问题定义：现有的扩散变换器在生成图像时，丢弃了在去噪过程中获得的丰富感知表示，导致多模态生成能力不足。
核心思路：MMDiff框架通过将冻结的扩散变换器与轻量解码头结合，利用多时间步特征融合和空间变化加权聚合，保留并利用去噪轨迹中的感知信息。
技术框架：MMDiff的整体架构包括一个冻结的扩散变换器作为主干，多个轻量解码头用于生成不同的感知模态，采用多时间步特征融合策略来增强生成效果。
关键创新：最重要的创新在于引入了多时间步特征融合与空间变化加权聚合，这一设计显著提升了生成质量，尤其是在语义分割任务中。
关键设计：在网络结构上，轻量解码头的设计使得训练效率高，同时采用了概念驱动的注意力提取机制，以实现可解释的空间引导。
🖼️ 关键图片
📊 实验亮点
MMDiff在语义分割任务中实现了28.7%的mIoU提升，相较于单时间步提取方法表现显著。同时，框架在显著物体检测和深度估计等任务中也展现了强大的性能，证明了其在多模态生成中的有效性。
🎯 应用场景
MMDiff框架在多个计算机视觉任务中具有广泛的应用潜力，包括语义分割、显著物体检测和深度估计等。其高效的合成数据生成能力可以为自动驾驶、机器人视觉和增强现实等领域提供支持，推动相关技术的发展与应用。
📄 摘要（原文）
Diffusion transformers have demonstrated remarkable generative capabilities, yet the rich perceptual representations computed across their denoising trajectory are discarded once the content is rendered. We present MMDiff, a framework that transforms a frozen diffusion transformer into a multi-modal generative system that jointly produces images alongside any combination of dense perceptual modalities using lightweight decoder heads. Our central finding is that perceptual information is temporally distributed along the denoising trajectory, and that multi-timestep feature fusion with spatially varying aggregation weights is essential, improving semantic segmentation results by up to 28.7% mIoU over single-timestep extraction. We further adopt concept-driven attention extraction for interpretable spatial guidance, and show that frozen diffusion features are competitive with and complementary to state-of-the-art encoders such as DINOv3. By training only lightweight decoder heads on a frozen backbone, we achieve strong performance in semantic segmentation, salient object detection, and depth estimation, and demonstrate that this framework enables effective synthetic data generation at scale.