kNN-CLIP: Retrieval Enables Training-Free Segmentation on Continually Expanding Large Vocabularies

📄 arXiv: 2404.09447v3 📥 PDF

作者: Zhongrui Gui, Shuyang Sun, Runjia Li, Jianhao Yuan, Zhaochong An, Karsten Roth, Ameya Prabhu, Philip Torr

分类: cs.CV, cs.LG

发布日期: 2024-04-15 (更新: 2024-08-13)

💡 一句话要点

提出kNN-CLIP以解决开放词汇分割中的灾难性遗忘问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇分割 持续学习 实例嵌入 灾难性遗忘 语义分割 全景分割 无训练策略

📋 核心要点

  1. 现有的持续分割方法在处理不断扩展的大词汇表时，面临灾难性遗忘的问题，导致性能下降。
  2. 论文提出的kNN-CLIP方法通过使用实例嵌入数据库，避免了传统训练中的遗忘现象，实现了无训练的分割策略。
  3. 实验结果表明，kNN-CLIP在大词汇语义和全景分割数据集上表现出色，超越了现有的基线方法。

📝 摘要（中文）

持续分割尚未解决在不断扩展的大词汇表中，通过训练数据提高开放词汇分割模型准确性的挑战。我们发现传统的持续训练会导致严重的灾难性遗忘，无法超越零-shot分割基线。我们提出了一种新颖的无训练策略kNN-CLIP，通过实例嵌入数据库增强模型，实现零遗忘。kNN-CLIP能够适应不断增长的词汇表，无需重新训练或大量内存成本，支持在任何领域通过单次数据处理扩展词汇，同时仅存储紧凑的嵌入。这种方法最小化了计算和内存成本，并在大词汇语义和全景分割数据集上实现了最先进的性能。我们希望kNN-CLIP能为更高效和适应性强的持续分割铺平道路。

🔬 方法详解

问题定义：本论文旨在解决在开放词汇分割中，传统持续训练导致的灾难性遗忘问题。现有方法在不断扩展的大词汇表中，无法有效保持模型的分割性能。

核心思路：论文提出的kNN-CLIP方法通过构建一个实例嵌入数据库，允许模型在不重新训练的情况下，适应新的词汇，避免了灾难性遗忘。这样的设计使得模型能够在不断变化的环境中保持高效性和准确性。

技术框架：kNN-CLIP的整体架构包括两个主要模块：实例嵌入数据库和分割模型。实例嵌入数据库存储了不同实例的特征向量，而分割模型则利用这些嵌入进行语义和全景分割。

关键创新：kNN-CLIP的最大创新在于其无训练的策略，通过实例嵌入的方式实现了零遗忘，与传统方法相比，显著降低了内存和计算成本。

关键设计：在kNN-CLIP中，嵌入的存储采用紧凑的表示形式，损失函数设计为适应多种分割任务，网络结构则结合了最新的特征提取技术，以提高分割精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，kNN-CLIP在多个大词汇语义和全景分割数据集上达到了最先进的性能，相较于传统方法，性能提升幅度显著，具体数值未提供，但表明其在零-shot分割任务中的优势。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人视觉和医疗影像分析等，能够在不断变化的环境中快速适应新任务，提升系统的灵活性和效率。未来，kNN-CLIP有望推动开放词汇分割技术在实际应用中的广泛采用。

📄 摘要（原文）

Continual segmentation has not yet tackled the challenge of improving open-vocabulary segmentation models with training data for accurate segmentation across large, continually expanding vocabularies. We discover that traditional continual training results in severe catastrophic forgetting, failing to outperform a zero-shot segmentation baseline. We introduce a novel training-free strategy, kNN-CLIP, which augments the model with a database of instance embeddings for semantic and panoptic segmentation that achieves zero forgetting. We demonstrate that kNN-CLIP can adapt to continually growing vocabularies without the need for retraining or large memory costs. kNN-CLIP enables open-vocabulary segmentation methods to expand their vocabularies on any domain with a single pass through the data, while only storing compact embeddings. This approach minimizes both compute and memory costs. kNN-CLIP achieves state-of-the-art performance across large-vocabulary semantic and panoptic segmentation datasets. We hope kNN-CLIP represents a significant step forward in enabling more efficient and adaptable continual segmentation, paving the way for advances in real-world large-vocabulary continual segmentation methods.