ECLIPSE: Efficient Continual Learning in Panoptic Segmentation with Visual Prompt Tuning

📄 arXiv: 2403.20126v1 📥 PDF

作者: Beomyoung Kim, Joonsang Yu, Sung Ju Hwang

分类: cs.CV

发布日期: 2024-03-29

备注: CVPR 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出ECLIPSE以解决持续学习中的灾难性遗忘问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 全景分割 持续学习 视觉提示调优 灾难性遗忘 深度学习

📋 核心要点

  1. 现有的持续分割方法在处理新类别时容易出现灾难性遗忘，导致模型性能下降。
  2. ECLIPSE通过冻结基础模型参数，仅微调少量提示嵌入，有效应对灾难性遗忘和可塑性问题。
  3. 在ADE20K基准测试中，ECLIPSE表现出色，显著提高了模型的鲁棒性和适应性，达到了新的性能标准。

📝 摘要（中文）

全景分割结合了语义分割和实例分割，是计算机视觉领域的前沿任务。尽管深度学习模型取得了进展，但现实应用的动态特性要求模型具备持续学习能力，即在适应新类别的同时不遗忘旧类别。现有的持续分割方法多依赖于知识蒸馏和伪标签等蒸馏策略，虽然有效，但增加了训练复杂性和计算开销。本文提出了一种基于视觉提示调优的高效持续全景分割方法ECLIPSE，通过冻结基础模型参数，仅微调少量提示嵌入，解决了灾难性遗忘和可塑性问题，显著减少了可训练参数。实验结果表明，ECLIPSE在ADE20K持续全景分割基准上表现优越，展现出对灾难性遗忘的强鲁棒性和合理的可塑性，达到了新的最先进水平。

🔬 方法详解

问题定义：本文旨在解决持续全景分割中的灾难性遗忘问题，现有方法在适应新类别时容易遗忘旧类别，导致性能下降。

核心思路：ECLIPSE的核心思路是冻结基础模型的参数，仅对少量提示嵌入进行微调，从而减少可训练参数并有效应对灾难性遗忘和可塑性问题。

技术框架：ECLIPSE的整体架构包括基础模型的冻结、提示嵌入的微调以及逻辑操作的引入，以利用类别间的共性知识。主要模块包括模型参数管理、提示嵌入优化和逻辑操作模块。

关键创新：ECLIPSE的主要创新在于通过视觉提示调优来解决持续学习中的灾难性遗忘问题，这与传统的知识蒸馏方法形成了本质区别，后者通常需要更多的计算资源和复杂的训练流程。

关键设计：在设计上，ECLIPSE采用了少量的可训练提示嵌入，并引入了逻辑操作以减少错误传播和语义漂移，确保模型在学习新类别时能够有效利用已有知识。

🖼️ 关键图片

fig_0

📊 实验亮点

ECLIPSE在ADE20K持续全景分割基准上取得了显著的性能提升，展现出对灾难性遗忘的强鲁棒性和合理的可塑性，达到了新的最先进水平，具体性能数据未公开，但相较于传统方法有明显优势。

🎯 应用场景

ECLIPSE的研究成果在智能监控、自动驾驶、机器人视觉等领域具有广泛的应用潜力。其高效的持续学习能力使得模型能够在动态环境中不断适应新情况，提升系统的智能化水平和实用性。未来，该方法有望推动更多实时视觉任务的进展。

📄 摘要（原文）

Panoptic segmentation, combining semantic and instance segmentation, stands as a cutting-edge computer vision task. Despite recent progress with deep learning models, the dynamic nature of real-world applications necessitates continual learning, where models adapt to new classes (plasticity) over time without forgetting old ones (catastrophic forgetting). Current continual segmentation methods often rely on distillation strategies like knowledge distillation and pseudo-labeling, which are effective but result in increased training complexity and computational overhead. In this paper, we introduce a novel and efficient method for continual panoptic segmentation based on Visual Prompt Tuning, dubbed ECLIPSE. Our approach involves freezing the base model parameters and fine-tuning only a small set of prompt embeddings, addressing both catastrophic forgetting and plasticity and significantly reducing the trainable parameters. To mitigate inherent challenges such as error propagation and semantic drift in continual segmentation, we propose logit manipulation to effectively leverage common knowledge across the classes. Experiments on ADE20K continual panoptic segmentation benchmark demonstrate the superiority of ECLIPSE, notably its robustness against catastrophic forgetting and its reasonable plasticity, achieving a new state-of-the-art. The code is available at https://github.com/clovaai/ECLIPSE.