Adaptive FSS: A Novel Few-Shot Segmentation Framework via Prototype Enhancement

📄 arXiv: 2312.15731v4 📥 PDF

作者: Jing Wang, Jinagyun Li, Chen Chen, Yisi Zhang, Haoran Shen, Tianxiang Zhang

分类: cs.CV

发布日期: 2023-12-25 (更新: 2024-01-09)

🔗 代码/项目: GITHUB

💡 一句话要点

提出Adaptive FSS，通过原型增强实现高效的小样本分割模型自适应。

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 小样本分割 原型学习 适配器机制 元学习 计算机视觉

📋 核心要点

  1. 现有小样本分割方法依赖于固定的特征匹配，缺乏像人类一样从少量样本中快速学习新事物的能力。
  2. Adaptive FSS通过原型自适应模块（PAM）增强类别特定信息，使模型能够更好地适应新类别。
  3. 实验表明，Adaptive FSS显著提升了多种FSS模型的性能，并在PASCAL-5$^i$和COCO-20$^i$数据集上取得了SOTA结果。

📝 摘要（中文）

本文提出了一种基于适配器机制的新型小样本分割（FSS）框架，名为Adaptive FSS，旨在使现有FSS模型能够高效地适应新类别。与现有基于元学习的FSS研究侧重于设计复杂的查询和支持特征交互机制不同，本文方法通过原型自适应模块（PAM）利用支持集提供的精确类别信息来推导类别原型，从而增强多阶段表示中的类别特定信息。该方法与具有不同骨干网络的各种FSS方法兼容，只需将PAM插入编码器的层之间即可。实验结果表明，该方法有效地提高了FSS模型（如MSANet、HDMNet、FPTrans和DCAMA）的性能，并取得了新的state-of-the-art结果（在PASCAL-5$^i$的1-shot和5-shot设置下分别达到72.4%和79.1%的mIoU，在COCO-20$^i$的1-shot和5-shot设置下分别达到52.7%和60.0%的mIoU）。

🔬 方法详解

问题定义：小样本分割（FSS）旨在利用少量带标注的图像分割出新的类别。现有方法主要基于元学习，侧重于设计复杂的查询和支持特征交互机制。然而，这些方法依赖于固定的特征匹配，缺乏足够的适应性，难以像人类一样快速学习新事物。现有方法的痛点在于泛化能力不足，难以适应新的类别。

核心思路：本文的核心思路是引入适配器（Adapter）机制，使现有的FSS模型能够高效地适应新的类别。具体来说，通过原型自适应模块（PAM）利用支持集提供的类别信息来增强多阶段表示中的类别特定信息。这样，模型就能更好地理解和分割新的类别，而无需从头开始训练。

技术框架：Adaptive FSS的整体框架是在现有的FSS模型（如MSANet、HDMNet、FPTrans和DCAMA）的编码器层之间插入原型自适应模块（PAM）。PAM模块接收来自支持集的类别信息，并生成类别原型。然后，这些原型被用于增强查询图像的特征表示，从而提高分割的准确性。整个流程可以看作是对现有FSS模型的一种“即插即用”式的改进。

关键创新：最重要的技术创新点在于原型自适应模块（PAM）的设计。PAM能够有效地利用支持集提供的类别信息，生成具有代表性的类别原型，并将其融入到查询图像的特征表示中。与现有方法相比，PAM能够更好地捕捉类别之间的差异，提高分割的准确性。此外，Adaptive FSS的适配器机制使其能够轻松地集成到不同的FSS模型中，具有良好的通用性。

关键设计：PAM模块的关键设计包括：1) 如何从支持集中提取类别信息并生成类别原型；2) 如何将类别原型有效地融入到查询图像的特征表示中。具体的技术细节（如损失函数、网络结构等）在论文中应该有更详细的描述，但摘要中未提及。

📊 实验亮点

Adaptive FSS在PASCAL-5$^i$数据集上取得了显著的性能提升，1-shot设置下mIoU达到72.4%，5-shot设置下mIoU达到79.1%。在COCO-20$^i$数据集上，1-shot设置下mIoU达到52.7%，5-shot设置下mIoU达到60.0%。这些结果表明，Adaptive FSS能够有效地提高FSS模型的性能，并在多个数据集上取得了SOTA结果。相较于基线模型，性能提升显著。

🎯 应用场景

Adaptive FSS在医疗图像分析、遥感图像处理、自动驾驶等领域具有广泛的应用前景。例如，在医疗图像分析中，医生可以利用少量标注的肿瘤图像，训练模型来分割新的肿瘤类型。在遥感图像处理中，可以利用少量标注的土地覆盖图像，训练模型来识别新的土地利用类型。该研究有助于降低标注成本，提高分割效率，加速相关领域的智能化进程。

📄 摘要（原文）

The Few-Shot Segmentation (FSS) aims to accomplish the novel class segmentation task with a few annotated images. Current FSS research based on meta-learning focus on designing a complex interaction mechanism between the query and support feature. However, unlike humans who can rapidly learn new things from limited samples, the existing approach relies solely on fixed feature matching to tackle new tasks, lacking adaptability. In this paper, we propose a novel framework based on the adapter mechanism, namely Adaptive FSS, which can efficiently adapt the existing FSS model to the novel classes. In detail, we design the Prototype Adaptive Module (PAM), which utilizes accurate category information provided by the support set to derive class prototypes, enhancing class-specific information in the multi-stage representation. In addition, our approach is compatible with diverse FSS methods with different backbones by simply inserting PAM between the layers of the encoder. Experiments demonstrate that our method effectively improves the performance of the FSS models (e.g., MSANet, HDMNet, FPTrans, and DCAMA) and achieve new state-of-the-art (SOTA) results (i.e., 72.4\% and 79.1\% mIoU on PASCAL-5$^i$ 1-shot and 5-shot settings, 52.7\% and 60.0\% mIoU on COCO-20$^i$ 1-shot and 5-shot settings). Our code can be available at https://github.com/jingw193/AdaptiveFSS.