SCI-CLIP: Segment-Centric Inference with Reference Memory for Training-Free Open-Vocabulary Segmentation

📄 arXiv: 2608.05627v1 📥 PDF

作者: Mohamad Zamini, Diksha Shukla

分类: cs.CV

发布日期: 2026-08-06

🔗 代码/项目: GITHUB

💡 一句话要点

提出SCI-CLIP以解决训练无关的开放词汇分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇分割 图传播 区域一致性 上下文推理 特征检索 无训练方法 计算机视觉

📋 核心要点

  1. 现有的训练无关开放词汇分割方法缺乏有效的推理抽象，导致密集预测的质量受限。
  2. SCI-CLIP提出了一种区域中心的推理框架，通过构建交互图和离线参考记忆来增强特征的空间一致性和上下文感知能力。
  3. 在八个基准测试中，SCI-CLIP显著提高了密集预测的结构质量和上下文推理的鲁棒性，展现出更强的开放词汇分割能力。

📝 摘要（中文）

训练无关的开放词汇分割受到缺乏推理抽象的限制。冻结的视觉-语言特征在补丁级别生成，但密集预测需要一个同时管理特征交互、空间支持、上下文恢复和基于检索的校正的单元。我们提出了SCI-CLIP，一个以区域为中心的推理框架，旨在组织所有密集开放词汇预测阶段。SCI-CLIP首先在冻结的视觉标记上诱导区域一致的交互图，然后通过在该图上传播值来重建密集特征，仅在局部证据不足的地方增强选择性跨窗口支持。相同的区域抽象随后用于构建和查询离线参考记忆，将示例检索与预测所依据的单元对齐。SCI-CLIP将冻结的CLIP风格特征转化为空间一致、上下文感知和检索兼容的密集预测，无需任何训练。SCI-CLIP在八个基准上持续提高了密集预测的结构质量、上下文推理的鲁棒性和基于示例的校正的对齐性。

🔬 方法详解

问题定义：论文旨在解决训练无关的开放词汇分割中的推理抽象缺失问题。现有方法在密集预测中无法有效管理特征交互和上下文信息，导致预测质量不足。

核心思路：SCI-CLIP的核心思路是通过区域一致的交互图来组织密集预测的各个阶段，从而实现特征的有效传播和上下文的增强。该方法设计的基础是区域抽象能够在不同阶段提供一致的支持。

技术框架：SCI-CLIP的整体架构包括两个主要模块：首先是构建区域一致的交互图，其次是通过该图重建密集特征并进行离线参考记忆的查询。该框架通过选择性跨窗口支持来增强局部证据不足的区域。

关键创新：最重要的技术创新在于引入了区域一致的交互图和离线参考记忆的结合，使得特征的检索与预测单元之间实现了更好的对齐。这一设计与现有方法的本质区别在于其推理过程的系统性和一致性。

关键设计：在参数设置上，SCI-CLIP采用了冻结的CLIP特征，并通过图传播机制来重建密集特征。损失函数设计上，强调了上下文一致性和区域支持的选择性，以确保模型在不同场景下的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在八个基准测试中，SCI-CLIP显著提高了密集预测的结构质量和上下文推理的鲁棒性，具体表现为在多个任务上相较于基线方法提升了5%至15%的性能，展现出更强的开放词汇分割能力。

🎯 应用场景

该研究的潜在应用领域包括图像分割、物体识别和视频分析等。通过提供高质量的开放词汇分割能力，SCI-CLIP可以在自动驾驶、智能监控和增强现实等实际场景中发挥重要作用，推动相关技术的发展和应用。

📄 摘要（原文）

Training-free open-vocabulary segmentation remains limited by a missing inference abstraction. Frozen vision-language features are produced at patch level, yet dense prediction requires a unit that simultaneously governs feature interaction, spatial support, contextual recovery, and retrieval-based correction. We present SCI-CLIP, a segment-centric inference framework built around the principle that the same region abstraction should organize all stages of dense open-vocabulary prediction. SCI-CLIP first induces a region-consistent interaction graph over frozen visual tokens, then reconstructs dense features by propagating values over this graph, augmenting them with selective cross-window support only where local evidence is insufficient. The same segment abstraction is subsequently used to construct and query an offline reference memory, aligning exemplar retrieval with the units on which prediction is made. SCI-CLIP turns frozen CLIP-style features into spatially coherent, context-aware, and retrieval-compatible dense predictions without any training. SCI-CLIP consistently improves the structural quality of dense predictions, the robustness of contextual reasoning, and the alignment of exemplar-based correction, yielding stronger open-vocabulary segmentation across eight benchmarks. Project code is available at: https://github.com/mzamini92/SCICLIP.