ReasonCLIP-58M: Visually Grounded Commonsense Reasoning Supervision for CLIP

📄 arXiv: 2606.26794v1 📥 PDF

作者: Sicheng Zhang, Muzammal Naseer, Binzhu Xie, Naufal Suryanto, Shi Qiu, Jamal Bentahar, Naveed Akhtar, Mubarak Shah

分类: cs.CV, cs.AI

发布日期: 2026-06-25

备注: Accepted to ECCV2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出ReasonCLIP-58M以解决CLIP模型在常识推理中的不足

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉推理 多模态学习 CLIP模型 常识推理 组合推理 数据集构建 零-shot学习

📋 核心要点

  1. 现有CLIP模型在处理视觉基础的常识推理和组合推理时存在局限，主要依赖描述性图像-文本对齐。
  2. 提出ReasonCLIP-58M，通过持续预训练框架和两阶段策略，将推理信号集成到CLIP模型中，增强其推理能力。
  3. ReasonCLIP模型在视觉基础的常识推理和组合推理上表现出显著提升，同时在零-shot检索任务中也取得了更好的性能。

📝 摘要（中文）

CLIP及其变体在多模态系统中被广泛采用，但其预训练主要集中在描述性图像-文本对齐上。随着下游应用对视觉基础的常识推理和组合推理的需求增加，CLIP风格的编码器是否能够支持此类推理仍不明确。为此，本文提出了ReasonCLIP-58M，一个持续预训练框架，通过两阶段策略将大规模推理监督集成到CLIP模型中，同时保持描述性对齐，并随后进行类别结构化的推理监督。为支持该框架，我们构建了两个互补的数据集和一个基准：ReasonLite-42M和ReasonPro-16M，并训练了一系列ReasonCLIP模型，显著提升了视觉基础的常识推理和组合推理能力，同时增强了零-shot检索性能。

🔬 方法详解

问题定义：本文旨在解决CLIP模型在视觉基础常识推理和组合推理中的不足，现有方法主要依赖描述性对齐，无法有效支持复杂推理任务。

核心思路：通过引入大规模推理监督，ReasonCLIP-58M采用两阶段策略，逐步集成推理信号，同时保持描述性对齐，以增强模型的推理能力。

技术框架：整体架构包括两个主要阶段：第一阶段为推理信号的逐步集成，第二阶段为类别结构化的推理监督。此框架支持模型在多模态任务中的应用。

关键创新：最重要的创新在于将推理监督与描述性对齐相结合，显著提升了CLIP风格视觉表示的表达能力，与传统方法相比，能够更好地处理复杂的推理任务。

关键设计：在数据集构建方面，设计了ReasonLite-42M和ReasonPro-16M，前者提供开放式、可视化验证的推理描述，后者则提供类别特定的推理监督。此外，模型训练过程中采用了特定的损失函数和网络结构，以优化推理性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ReasonCLIP模型在视觉基础的常识推理和组合推理任务上显著优于基线模型，具体表现为在多个基准测试中取得了超过10%的性能提升，同时在零-shot检索任务中也展现出更高的准确性，验证了推理监督的有效性。

🎯 应用场景

ReasonCLIP-58M的研究成果在多个领域具有广泛的应用潜力，包括智能问答系统、图像检索、自动内容生成等。通过增强视觉基础的常识推理能力，该模型能够更好地理解和处理复杂的多模态信息，提升人机交互的智能化水平，未来可能在教育、医疗等行业产生深远影响。

📄 摘要（原文）

CLIP and its variants are widely adopted visual backbones in multimodal systems, but their pretraining remains dominated by descriptive image-text alignment. As downstream applications increasingly demand visually grounded commonsense inference and compositional reasoning, it remains unclear whether CLIP-style encoders can support such reasoning without architectural changes. To address this, we present ReasonCLIP-58M, a continual pretraining framework that integrates large-scale reasoning supervision into CLIP-style models through our two-stage strategy, which progressively integrates reasoning signals while preserving descriptive alignment, followed by category-structured reasoning supervision. To support this framework, we construct two complementary datasets and a benchmark: ReasonLite-42M, with open-form, visually verifiable reasoning captions; ReasonPro-16M, with category-specific reasoning supervision; and RCLIP-Bench for diagnostic evaluation of visually grounded reasoning. We train a family of ReasonCLIP that improves visually grounded commonsense and compositional reasoning while also enhancing zero-shot retrieval performance. As a drop-in visual encoder for multimodal large language models such as LLaVA-NeXT, ReasonCLIP delivers consistent gains without additional inference cost, demonstrating that structured reasoning supervision enhances the expressive capacity of CLIP-style visual representations. All datasets, models, and training code are available at https://github.com/RISys-Lab/ReasonCLIP.