RepFusion: Leveraging Multimodal Priors for Denoising in Representation Space

📄 arXiv: 2606.14700v1 📥 PDF

作者: Xichen Pan, Aashu Singh, Satya Narayan Shukla, Xiangjun Fan, Shlok Kumar Mishra, Saining Xie

分类: cs.CV

发布日期: 2026-06-12

备注: Project Page: https://xichenpan.com/repfusion

💡 一句话要点

提出RepFusion以解决视觉表示去噪问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 视觉表示 去噪技术 生成模型 文本到图像

📋 核心要点

  1. 现有的文本到图像系统在去噪过程中依赖新训练的生成模型，缺乏对预训练语言模型的有效利用。
  2. 论文提出RepFusion，通过将多模态LLM作为噪声表示编码器，利用其输出作为扩散变换器的条件信号。
  3. 实验结果表明，RepFusion在相似的推理预算下优于基线方法，展示了MLLM在视觉表示去噪中的有效性。

📝 摘要（中文）

大型语言模型（LLMs）在文本到图像（T2I）系统中广泛应用，但通常仅限于文本编码，而去噪则由新训练的生成骨干网络处理。表示自编码器（RAEs）的出现使生成目标转向语义结构化的视觉表示，创建了与预训练LLM先验更兼容的潜在空间。受多模态LLM（MLLMs）启发，本文将MLLM本身重新用于噪声表示编码，将这一机制从干净输入扩展到噪声输入。我们提出了RepFusion，利用MLLM输出作为扩散变换器的条件信号。在相似推理预算的受控比较中，RepFusion超越了投入相当容量的新初始化去噪器的基线。这些结果表明，MLLM为视觉表示去噪提供了强大的先验，并且通过对不断变化的噪声表示进行条件处理，可以有效利用测试时计算资源。

🔬 方法详解

问题定义：本文旨在解决现有文本到图像系统中去噪过程对预训练语言模型利用不足的问题。现有方法通常依赖新训练的生成模型，未能充分利用多模态信息。

核心思路：论文的核心思路是将多模态LLM（MLLM）重新用于噪声表示编码，通过将其输出作为条件信号，增强去噪效果。这种设计使得在处理噪声输入时，能够利用LLM的强大先验知识。

技术框架：整体架构包括一个MLLM作为噪声表示编码器，输出作为扩散变换器的条件信号。该框架通过迭代处理不断变化的噪声表示，优化去噪过程。

关键创新：最重要的技术创新在于将MLLM直接用于噪声表示的编码，而不是仅限于干净输入。这一方法显著提升了去噪效果，并有效利用了预训练模型的能力。

关键设计：在设计中，关键参数包括MLLM的结构和扩散变换器的配置，损失函数则侧重于对比干净与噪声表示之间的差异，以优化去噪效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，RepFusion在相似推理预算下超越了新初始化去噪器的基线，具体性能提升幅度未知。这表明MLLM在视觉表示去噪中的有效性，为未来的T2I系统提供了新的思路。

🎯 应用场景

该研究的潜在应用领域包括图像生成、计算机视觉和多模态学习等。通过有效利用预训练模型的先验知识，RepFusion能够提升图像生成的质量和效率，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) are widely used in text-to-image (T2I) systems, but they are typically limited to text encoding, while denoising is handled by newly trained generative backbones. The emergence of representation autoencoders (RAEs) shifts the generation target toward semantically structured visual representations, creating a latent space that is more compatible with pretrained LLM priors. Inspired by multimodal LLMs (MLLMs), where an MLP projector is sufficient to align clean visual representations with a pretrained LLM, we repurpose the MLLM itself as a noisy representation encoder, extending this mechanism from clean to noisy inputs. We present RepFusion, which uses the resulting MLLM outputs as the conditioning signal for a diffusion transformer. In controlled comparisons at similar inference budgets, RepFusion outperforms baselines that devote comparable capacity to newly initialized denoisers. These results demonstrate that MLLMs provide strong priors for denoising visual representations and that, by conditioning on evolving noisy representations, test-time compute can be productively spent on repeated MLLM conditioning in modern T2I systems.