Convolutional Prompting meets Language Models for Continual Learning

📄 arXiv: 2403.20317v1 📥 PDF

作者: Anurag Roy, Riddhiman Moulick, Vinay K. Verma, Saptarshi Ghosh, Abir Das

分类: cs.CV

发布日期: 2024-03-29

备注: CVPR 2024 Camera Ready

💡 一句话要点

提出ConvPrompt以解决持续学习中的知识共享问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续学习 卷积提示 知识共享 视觉变换器 任务相似性 参数优化 深度学习

📋 核心要点

  1. 现有的持续学习方法在知识共享上效率低下，导致性能受限，尤其是在缺乏细粒度层特定提示的情况下。
  2. 本文提出ConvPrompt，通过卷积机制创建层级共享嵌入，实现层特定学习和跨任务知识转移，提升了模型的学习能力。
  3. 实验结果显示，ConvPrompt在多个任务上性能提升约3%，且参数开销显著降低，验证了其有效性和优越性。

📝 摘要（中文）

持续学习（CL）使机器学习模型能够在缺乏旧任务数据的情况下，从不断变化的新训练数据中学习。近期，预训练的视觉变换器结合提示调优在克服CL中的灾难性遗忘方面显示出潜力。然而，现有方法依赖于可学习的提示池，导致跨任务知识共享效率低下，性能不佳。此外，缺乏细粒度的层特定提示使得这些方法无法充分发挥提示在CL中的优势。为了解决这些问题，本文提出了ConvPrompt，一种新颖的卷积提示创建机制，维护层级共享嵌入，实现层特定学习和更好的概念转移。通过智能使用卷积，我们在不妥协性能的情况下保持了低参数开销。我们还利用大型语言模型生成每个类别的细粒度文本描述，以获取任务相似性并动态决定学习的提示数量。大量实验表明，ConvPrompt的优越性，性能提升约3%，且参数开销显著降低。

🔬 方法详解

问题定义：本文旨在解决持续学习中知识共享效率低下的问题，现有方法在跨任务学习时表现不佳，尤其是缺乏细粒度的层特定提示。

核心思路：ConvPrompt通过卷积机制创建层级共享嵌入，允许模型在不同层次上进行特定学习，同时实现更好的概念转移，从而克服现有方法的不足。

技术框架：整体架构包括卷积提示生成模块、层级共享嵌入管理和任务相似性评估。卷积提示生成模块负责创建和维护提示，层级共享嵌入则用于实现跨任务知识转移。

关键创新：最重要的创新点在于引入卷积机制来创建层级共享嵌入，这与传统方法依赖于固定的可学习提示池有本质区别，显著提高了知识共享的效率。

关键设计：在参数设置上，ConvPrompt保持了较低的参数开销，损失函数设计考虑了层特定学习的需求，网络结构上则通过卷积层实现了高效的提示生成和管理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ConvPrompt在多个基准任务上性能提升约3%，相较于现有最先进技术（SOTA）显著提高，同时保持了较低的参数开销，验证了其在持续学习中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、医疗影像分析等需要持续学习的场景。通过提升模型在动态环境中的学习能力，ConvPrompt能够有效应对不断变化的任务需求，具有重要的实际价值和未来影响。

📄 摘要（原文）

Continual Learning (CL) enables machine learning models to learn from continuously shifting new training data in absence of data from old tasks. Recently, pretrained vision transformers combined with prompt tuning have shown promise for overcoming catastrophic forgetting in CL. These approaches rely on a pool of learnable prompts which can be inefficient in sharing knowledge across tasks leading to inferior performance. In addition, the lack of fine-grained layer specific prompts does not allow these to fully express the strength of the prompts for CL. We address these limitations by proposing ConvPrompt, a novel convolutional prompt creation mechanism that maintains layer-wise shared embeddings, enabling both layer-specific learning and better concept transfer across tasks. The intelligent use of convolution enables us to maintain a low parameter overhead without compromising performance. We further leverage Large Language Models to generate fine-grained text descriptions of each category which are used to get task similarity and dynamically decide the number of prompts to be learned. Extensive experiments demonstrate the superiority of ConvPrompt and improves SOTA by ~3% with significantly less parameter overhead. We also perform strong ablation over various modules to disentangle the importance of different components.