DiFuse: Fusing Native Diffusion Representations for Spatial Reasoning in Unified Multimodal Models

📄 arXiv: 2610.39609v1 📥 PDF

作者: Ruixin Fan, Weining Wang, Jiahui Sun, Tailai Chen, Jing Liu

分类: cs.CV

发布日期: 2026-10-29

备注: 20 pages, 6 figures

💡 一句话要点

提出DiFuse以增强统一多模态模型的空间推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 统一多模态模型 空间推理 扩散表示 信息融合 视觉理解 图像生成

📋 核心要点

  1. 现有的统一多模态模型在视觉理解与图像生成之间的信息流不对称，导致生成表示未能有效用于多模态推理。
  2. DiFuse通过选择性地将中间扩散表示融入理解路径，旨在提升空间推理能力，同时保持多模态理解的完整性。
  3. 在UniWorld-V1上的实验结果显示，DiFuse在空间推理上显著优于匹配的SFT基线，且在一般多模态基准上表现相当。

📝 摘要（中文）

统一多模态模型（UMMs）能够同时支持视觉理解和图像生成，但这两种能力之间的信息流仍然不对称：理解表示通常条件生成，而生成表示很少被重用于多模态推理。本文研究了UMM的原生扩散分支中的中间表示是否可以在不妨碍一般多模态理解的情况下增强空间推理。我们提出了DiFuse，选择性地将中间扩散表示纳入UMM的理解路径。通过系统的逐层分析，我们识别出最具信息量的扩散表示及其最小干扰的集成位置。DiFuse将扩散特征与视觉标记空间对齐，并通过残差融合注入到选定的多模态解码器层。大量实验表明，DiFuse在空间推理上持续优于匹配的SFT基线，同时在一般多模态基准上保持相对可比的性能。

🔬 方法详解

问题定义：本文旨在解决统一多模态模型中视觉理解与图像生成之间信息流不对称的问题，现有方法未能有效利用生成表示进行多模态推理。

核心思路：DiFuse的核心思想是选择性地将中间扩散表示融入理解路径，以增强空间推理能力，同时不干扰一般多模态理解。

技术框架：DiFuse的整体架构包括扩散特征提取、视觉标记对齐和残差融合三个主要模块。首先提取扩散特征，然后与视觉标记进行空间对齐，最后通过残差连接将其注入多模态解码器。

关键创新：DiFuse的创新在于通过系统的层级分析，识别出最具信息量的扩散表示及其集成位置，从而实现有效的空间推理增强。与现有方法相比，DiFuse在结构保持的前提下实现了更好的信息融合。

关键设计：在设计中，DiFuse关注扩散表示的选择、注入位置以及扩散特征与视觉标记之间的空间对应关系，以确保信息的有效传递和处理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在UniWorld-V1上的实验结果表明，DiFuse在空间推理任务中相较于匹配的SFT基线提升了显著的性能，具体提升幅度未知。同时，DiFuse在一般多模态基准上保持了相对可比的性能，显示出其广泛的适用性。

🎯 应用场景

该研究的潜在应用领域包括智能视觉系统、自动驾驶、机器人导航等，需要高效的空间推理能力的场景。通过增强多模态模型的推理能力，DiFuse有望在实际应用中提升系统的智能水平和决策能力，推动相关技术的发展。

📄 摘要（原文）

Unified multimodal models (UMMs) jointly support visual understanding and image generation, yet information flow between these two capabilities remains largely asymmetric: understanding representations routinely condition generation, whereas generative representations are rarely reused for multimodal reasoning. In this work, we investigate whether intermediate representations from a UMM's native diffusion branch can enhance spatial reasoning without compromising general multimodal understanding. We propose DiFuse, which selectively incorporates intermediate diffusion representations into the understanding pathway of UMMs. Through systematic layer-wise analysis, we identify which diffusion representations are most informative and where they can be integrated with minimal interference to semantic processing. Guided by these findings, DiFuse spatially aligns diffusion features with visual tokens and injects them into selected multimodal decoder layers via residual fusion. Extensive experiments on UniWorld-V1 show that, DiFuse consistently improves spatial reasoning over a matched SFT baseline while maintaining broadly comparable performance on general multimodal benchmarks. Further analyses show that these gains depend critically on the choice of diffusion representations, injection positions, and the preservation of spatial correspondence between diffusion features and visual tokens. Results on OmniGen2 further demonstrate the transferability of DiFuse across unified multimodal architectures. Overall, our findings show that native diffusion representations can provide complementary spatial cues for multimodal reasoning when selectively integrated in a structure-preserving manner.