Guiding Diffusion-based Reconstruction with Contrastive Signals for Balanced Visual Representation

📄 arXiv: 2603.04803v1 📥 PDF

作者: Boyu Han, Qianqian Xu, Shilong Bao, Zhiyong Yang, Ruochen Cui, Xilin Zhao, Qingming Huang

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-03-05

🔗 代码/项目: GITHUB

💡 一句话要点

提出DCR方法，通过对比信号引导扩散重建，提升CLIP视觉表征的判别性和细节感知能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散模型 对比学习 视觉表征 CLIP 图像重建 判别能力 细节感知 多模态学习

📋 核心要点

  1. CLIP视觉编码器在判别能力和细节感知能力方面存在局限，影响下游任务性能。
  2. 提出DCR方法，通过将重建图像的对比信号注入扩散过程，平衡判别能力和细节感知能力的优化。
  3. 实验表明，DCR在多个基准测试和多模态大型语言模型中均表现出有效性。

📝 摘要（中文）

对比语言-图像预训练(CLIP)中视觉编码器的理解能力有限，已成为下游性能的关键瓶颈。这种能力包括反映类别可分性的判别能力(D-Ability)和关注细粒度视觉线索的细节感知能力(P-Ability)。最近的解决方案使用扩散模型，通过将图像重建条件建立在CLIP视觉token上来增强表征。我们认为这种范式可能会损害D-Ability，因此无法有效解决CLIP的表征局限性。为了解决这个问题，我们将对比信号集成到基于扩散的重建中，以追求更全面的视觉表征。我们首先采用了一种直接的设计，即通过对输入图像进行对比学习来增强扩散过程。然而，经验结果表明，这种朴素的组合存在梯度冲突，并产生次优性能。为了平衡优化，我们引入了扩散对比重建(DCR)，它统一了学习目标。关键思想是将从每个重建图像中导出的对比信号注入到扩散过程中，而不是从原始输入中。我们的理论分析表明，DCR损失可以共同优化D-Ability和P-Ability。跨各种基准和多模态大型语言模型的广泛实验验证了我们方法的有效性。

🔬 方法详解

问题定义：CLIP的视觉编码器在判别能力（D-Ability，类别可分性）和细节感知能力（P-Ability，细粒度视觉线索）上存在不足，限制了其在下游任务中的表现。现有方法尝试使用扩散模型进行图像重建，以增强视觉表征，但可能会损害D-Ability，无法有效解决CLIP的表征局限性。

核心思路：DCR的核心思路是将对比学习的信号融入到扩散模型的重建过程中，但不是直接对原始输入图像进行对比学习，而是对扩散模型重建后的图像进行对比学习。这样可以避免梯度冲突，并平衡判别能力和细节感知能力的优化。

技术框架：DCR方法主要包含以下几个模块：1) 扩散模型：用于图像重建，以增强细节感知能力。2) 对比学习模块：对重建后的图像进行对比学习，以增强判别能力。3) 损失函数：DCR损失函数，用于联合优化扩散模型和对比学习模块。整体流程是：输入图像首先经过扩散模型进行重建，然后对重建后的图像进行对比学习，最后使用DCR损失函数进行训练。

关键创新：DCR的关键创新在于将对比信号注入到扩散重建过程中，并且不是直接作用于原始图像，而是作用于重建后的图像。这种设计可以避免梯度冲突，并实现判别能力和细节感知能力的平衡优化。此外，DCR损失函数的设计也至关重要，它能够联合优化扩散模型和对比学习模块。

关键设计：DCR的关键设计包括：1) 扩散模型的选择：可以使用任何现有的扩散模型架构。2) 对比学习模块的设计：可以使用任何现有的对比学习方法，例如SimCLR、MoCo等。3) DCR损失函数的设计：DCR损失函数需要平衡扩散模型的重建损失和对比学习的损失。具体形式未知，但需要保证能够同时优化D-Ability和P-Ability。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DCR方法在多个基准测试中取得了显著的性能提升。具体数据未知，但论文强调DCR在各种基准和多模态大型语言模型中都验证了其有效性。实验结果表明，DCR能够有效提升视觉表征的判别能力和细节感知能力，从而提高下游任务的性能。与直接将对比学习应用于原始图像的方法相比，DCR能够避免梯度冲突，并取得更好的性能。

🎯 应用场景

DCR方法可以应用于各种需要提升视觉表征能力的场景，例如图像分类、目标检测、图像检索、视觉问答等。通过增强CLIP等模型的视觉理解能力，可以提升这些任务的性能。此外，DCR还可以用于多模态学习，例如文本-图像检索，通过提升视觉表征的质量，可以提高检索的准确性。未来，DCR有望在机器人视觉、自动驾驶等领域发挥重要作用。

📄 摘要（原文）

The limited understanding capacity of the visual encoder in Contrastive Language-Image Pre-training (CLIP) has become a key bottleneck for downstream performance. This capacity includes both Discriminative Ability (D-Ability), which reflects class separability, and Detail Perceptual Ability (P-Ability), which focuses on fine-grained visual cues. Recent solutions use diffusion models to enhance representations by conditioning image reconstruction on CLIP visual tokens. We argue that such paradigms may compromise D-Ability and therefore fail to effectively address CLIP's representation limitations. To address this, we integrate contrastive signals into diffusion-based reconstruction to pursue more comprehensive visual representations. We begin with a straightforward design that augments the diffusion process with contrastive learning on input images. However, empirical results show that the naive combination suffers from gradient conflict and yields suboptimal performance. To balance the optimization, we introduce the Diffusion Contrastive Reconstruction (DCR), which unifies the learning objective. The key idea is to inject contrastive signals derived from each reconstructed image, rather than from the original input, into the diffusion process. Our theoretical analysis shows that the DCR loss can jointly optimize D-Ability and P-Ability. Extensive experiments across various benchmarks and multi-modal large language models validate the effectiveness of our method. The code is available at https://github.com/boyuh/DCR.