Continual Learning for Image Segmentation with Dynamic Query

📄 arXiv: 2311.17450v1 📥 PDF

作者: Weijia Wu, Yuzhong Zhao, Zhuang Li, Lianlei Shan, Hong Zhou, Mike Zheng Shou

分类: cs.CV

发布日期: 2023-11-29

备注: Code: https://github.com/weijiawu/CisDQ

期刊: TCSVT 2023

💡 一句话要点

提出动态查询的持续学习图像分割方法以解决灾难性遗忘问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 持续学习 图像分割 动态查询 知识蒸馏 实例分割 灾难性遗忘 自适应背景

📋 核心要点

  1. 现有的持续学习方法在图像分割任务中面临灾难性遗忘和背景变化的挑战，导致性能显著下降。
  2. 本文提出的CISDQ方法通过动态查询和知识蒸馏策略，有效地解耦旧知识和新知识的学习，减轻遗忘现象。
  3. 实验结果表明，CISDQ在多个数据集上实现了最先进的性能，特别是在ADE 100数据集上分别提升了4.4%和2.9%的mIoU。

📝 摘要（中文）

基于持续学习的图像分割在性能上存在显著下降，主要由于灾难性遗忘和背景变化。本文提出了一种简单而有效的持续图像分割方法CISDQ，通过轻量级查询嵌入解耦旧知识和新知识的表示学习。CISDQ的主要贡献包括：1) 定义了具有自适应背景类的动态查询，以自然地利用过去知识和学习未来类；2) 提出了类/实例感知的查询引导知识蒸馏策略，通过捕捉类间多样性和类内身份来克服灾难性遗忘；3) 除了语义分割外，CISDQ还引入了实例分割的持续学习，考虑了实例级标注和监督。通过在三个数据集上进行的广泛实验，CISDQ在持续语义和实例分割任务中实现了最先进的性能，特别是在ADE 100-10和ADE 100-5设置中分别获得了4.4%和2.9%的mIoU提升。

🔬 方法详解

问题定义：本文旨在解决持续学习中图像分割任务的灾难性遗忘和背景变化问题。现有方法在不断引入新类时，往往无法有效保留旧知识，导致性能下降。

核心思路：CISDQ通过引入动态查询和知识蒸馏策略，解耦旧知识和新知识的表示学习，利用自适应背景类来自然地整合过去和未来的知识。

技术框架：CISDQ的整体架构包括三个主要模块：动态查询生成模块、查询引导知识蒸馏模块和实例分割模块。动态查询生成模块负责生成适应性背景类的查询，知识蒸馏模块则通过类/实例感知策略来减轻遗忘，实例分割模块则处理实例级标注。

关键创新：CISDQ的核心创新在于动态查询的引入和类/实例感知的知识蒸馏策略，这与传统方法相比，能够更好地捕捉类间多样性和类内身份，从而有效减轻灾难性遗忘。

关键设计：在设计中，CISDQ采用了轻量级的查询嵌入，结合自适应的背景类设置，损失函数则考虑了类间和类内的多样性，网络结构上则通过模块化设计来增强灵活性和可扩展性。

📊 实验亮点

CISDQ在ADE 100-10和ADE 100-5设置中分别实现了4.4%和2.9%的mIoU提升，展现出其在持续学习图像分割任务中的优越性能，超越了现有的基线方法，证明了其有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、医学影像分析和视频监控等场景，能够在不断变化的环境中持续学习和适应新任务。CISDQ方法的有效性将推动图像分割技术在实际应用中的广泛使用，提升系统的智能化水平和适应能力。

📄 摘要（原文）

Image segmentation based on continual learning exhibits a critical drop of performance, mainly due to catastrophic forgetting and background shift, as they are required to incorporate new classes continually. In this paper, we propose a simple, yet effective Continual Image Segmentation method with incremental Dynamic Query (CISDQ), which decouples the representation learning of both old and new knowledge with lightweight query embedding. CISDQ mainly includes three contributions: 1) We define dynamic queries with adaptive background class to exploit past knowledge and learn future classes naturally. 2) CISDQ proposes a class/instance-aware Query Guided Knowledge Distillation strategy to overcome catastrophic forgetting by capturing the inter-class diversity and intra-class identity. 3) Apart from semantic segmentation, CISDQ introduce the continual learning for instance segmentation in which instance-wise labeling and supervision are considered. Extensive experiments on three datasets for two tasks (i.e., continual semantic and instance segmentation are conducted to demonstrate that CISDQ achieves the state-of-the-art performance, specifically, obtaining 4.4% and 2.9% mIoU improvements for the ADE 100-10 (6 steps) setting and ADE 100-5 (11 steps) setting.