FreeSeg-Diff: Training-Free Open-Vocabulary Segmentation with Diffusion Models
作者: Barbara Toniella Corradini, Mustafa Shukor, Paul Couairon, Guillaume Couairon, Franco Scarselli, Matthieu Cord
分类: cs.CV
发布日期: 2024-03-29 (更新: 2025-11-07)
期刊: Proceedings of the 2025 International Joint Conference on Neural Networks (IJCNN 2025)
DOI: 10.1109/IJCNN64981.2025.11227428
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出FreeSeg-Diff以解决开放词汇图像分割问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 开放词汇分割 图像分割 扩散模型 无训练方法 基础模型 弱监督学习 视觉预测
📋 核心要点
- 现有的图像分割方法通常依赖于封闭词汇数据集和像素级标注，导致高昂的标注成本和训练需求。
- 本文提出的FreeSeg-Diff方法通过结合不同的基础模型，实现了零-shot的开放词汇分割，避免了训练过程。
- 实验结果显示，FreeSeg-Diff在多个数据集上超越了传统训练方法，并与最新的弱监督分割方法相媲美。
📝 摘要（中文）
基础模型在多个领域和任务中展现了前所未有的能力。当前，CLIP等模型广泛用于跨模态表示，而文本到图像的扩散模型在生成真实图像方面处于领先地位。本文探讨了这些模型在密集视觉预测任务中的潜在应用，尤其是图像分割。我们提出了一种零-shot、无训练的图像分割方法FreeSeg-Diff，利用开放源代码的基础模型进行开放词汇分割。该方法通过BLIP生成文本描述，通过稳定扩散模型生成视觉表示，最终通过CLIP模型将无类掩码映射到文本类。实验表明，FreeSeg-Diff在Pascal VOC和COCO数据集上超越了许多基于训练的方法，并在弱监督分割方法中表现出竞争力。
🔬 方法详解
问题定义：本文旨在解决图像分割任务中对封闭词汇数据集和像素级标注的依赖，现有方法在标注成本和训练需求上存在显著不足。
核心思路：FreeSeg-Diff通过利用开放源代码的基础模型，结合文本描述和视觉表示，实现了零-shot的开放词汇分割，避免了传统方法的训练过程。
技术框架：该方法的整体流程包括三个主要模块：首先，使用BLIP模型生成图像的文本描述；其次，使用稳定扩散模型生成图像的视觉表示；最后，通过CLIP模型将生成的无类掩码映射到文本类，并进行精细化处理以获得更准确的分割掩码。
关键创新：FreeSeg-Diff的核心创新在于其完全不依赖于训练过程，利用现有的基础模型实现开放词汇分割，显著降低了实现成本。
关键设计：在技术细节上，本文采用了特征聚类和二值化处理来生成无类掩码，并通过CLIP模型进行文本类映射，确保了分割的准确性和灵活性。具体的参数设置和损失函数设计在实验部分进行了详细说明。
🖼️ 关键图片
📊 实验亮点
实验结果表明，FreeSeg-Diff在Pascal VOC和COCO数据集上的表现优于许多传统训练方法，具体提升幅度达到XX%（具体数据未知）。此外，与最新的弱监督分割方法相比，FreeSeg-Diff展现出竞争力，验证了扩散模型特征的优势。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、医学影像分析和智能监控等场景，能够在无需大量标注数据的情况下，实现高效的图像分割。未来，该方法有望推动更多领域的开放词汇视觉任务的发展，降低人工标注的成本。
📄 摘要（原文）
Foundation models have exhibited unprecedented capabilities in tackling many domains and tasks. Models such as CLIP are currently widely used to bridge cross-modal representations, and text-to-image diffusion models are arguably the leading models in terms of realistic image generation. Image generative models are trained on massive datasets that provide them with powerful internal spatial representations. In this work, we explore the potential benefits of such representations, beyond image generation, in particular, for dense visual prediction tasks. We focus on the task of image segmentation, which is traditionally solved by training models on closed-vocabulary datasets, with pixel-level annotations. To avoid the annotation cost or training large diffusion models, we constraint our setup to be zero-shot and training-free. In a nutshell, our pipeline leverages different and relatively small-sized, open-source foundation models for zero-shot open-vocabulary segmentation. The pipeline is as follows: the image is passed to both a captioner model (i.e. BLIP) and a diffusion model (i.e., Stable Diffusion Model) to generate a text description and visual representation, respectively. The features are clustered and binarized to obtain class agnostic masks for each object. These masks are then mapped to a textual class, using the CLIP model to support open-vocabulary. Finally, we add a refinement step that allows to obtain a more precise segmentation mask. Our approach (dubbed FreeSeg-Diff), which does not rely on any training, outperforms many training-based approaches on both Pascal VOC and COCO datasets. In addition, we show very competitive results compared to the recent weakly-supervised segmentation approaches. We provide comprehensive experiments showing the superiority of diffusion model features compared to other pretrained models. Project page: https://bcorrad.github.io/freesegdiff/