A streamlined Approach to Multimodal Few-Shot Class Incremental Learning for Fine-Grained Datasets
作者: Thang Doan, Sima Behpour, Xin Li, Wenbin He, Liang Gou, Liu Ren
分类: cs.CV
发布日期: 2024-03-10
💡 一句话要点
提出多模态少样本增量学习方法以解决细粒度数据集问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 少样本学习 增量学习 多模态学习 视觉-语言模型 细粒度分类
📋 核心要点
- 现有方法在处理细粒度数据集时，难以有效保留先前知识并避免过拟合。
- 论文提出会话特定提示（SSP）和超曲距离两种模块，以增强图像-文本嵌入的可分性和表示能力。
- 实验结果表明，所提方法在性能上平均提升10个百分点，且训练参数显著减少，表现优异。
📝 摘要（中文）
少样本增量学习（FSCIL）面临在有限的新数据流中保留先前知识的挑战，同时避免过拟合。视觉-语言模型（VLMs）的兴起为许多应用提供了可能性，但在细粒度数据集上仍存在困难。本文提出了两个简单模块：会话特定提示（SSP）增强图像-文本嵌入的可分性，超曲距离则在同类图像-文本对之间压缩表示，同时扩展不同类之间的表示。实验结果显示，与基线相比，平均提升10个百分点，同时训练参数减少至少8倍。该改进在我们新引入的三个细粒度数据集上得到了进一步验证。
🔬 方法详解
问题定义：本文旨在解决在细粒度数据集上进行少样本增量学习时，如何有效保留先前知识而不导致过拟合的问题。现有方法在处理新数据流时，往往无法兼顾知识的保留与新知识的学习，导致性能下降。
核心思路：论文的核心思路是通过引入会话特定提示（SSP）和超曲距离模块，来提升图像-文本嵌入的可分性和表示能力。SSP模块通过为每个会话生成特定的提示，增强了不同会话间的嵌入分离性，而超曲距离则通过压缩同类图像-文本对的表示，扩展不同类之间的距离，从而提高了整体的表示效果。
技术框架：整体架构包括两个主要模块：会话特定提示（SSP）和超曲距离。SSP模块负责生成针对每个会话的特定提示，以增强图像-文本嵌入的可分性；超曲距离模块则负责优化图像-文本对的表示，通过调整同类与异类之间的距离关系来提升模型性能。
关键创新：本文的主要创新在于提出了会话特定提示（SSP）和超曲距离这两个模块，显著提升了图像-文本嵌入的可分性和表示能力。这与现有方法的本质区别在于，现有方法往往依赖于复杂的模型结构，而本文通过简单的模块设计实现了更高的性能。
关键设计：在参数设置上，所提方法要求的可训练参数减少至少8倍，损失函数设计上采用了适应性调整的策略，以确保在不同类之间的距离扩展和同类之间的距离压缩的有效性。网络结构上，保持了VLM的基本架构，但通过引入新的模块进行优化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在性能上平均提升10个百分点，相较于基线表现显著，且在训练参数上减少至少8倍。这一改进在三个新引入的细粒度数据集上得到了进一步验证，显示出良好的适应性和有效性。
🎯 应用场景
该研究在细粒度图像分类、自然语言处理和多模态学习等领域具有广泛的应用潜力。通过有效的少样本增量学习方法，可以在资源有限的情况下，快速适应新任务，提升模型在特定领域的表现，具有重要的实际价值和未来影响。
📄 摘要（原文）
Few-shot Class-Incremental Learning (FSCIL) poses the challenge of retaining prior knowledge while learning from limited new data streams, all without overfitting. The rise of Vision-Language models (VLMs) has unlocked numerous applications, leveraging their existing knowledge to fine-tune on custom data. However, training the whole model is computationally prohibitive, and VLMs while being versatile in general domains still struggle with fine-grained datasets crucial for many applications. We tackle these challenges with two proposed simple modules. The first, Session-Specific Prompts (SSP), enhances the separability of image-text embeddings across sessions. The second, Hyperbolic distance, compresses representations of image-text pairs within the same class while expanding those from different classes, leading to better representations. Experimental results demonstrate an average 10-point increase compared to baselines while requiring at least 8 times fewer trainable parameters. This improvement is further underscored on our three newly introduced fine-grained datasets.