Descriptor and Word Soups: Overcoming the Parameter Efficiency Accuracy Tradeoff for Out-of-Distribution Few-shot Learning
作者: Christopher Liao, Theodoros Tsiligkaridis, Brian Kulis
分类: cs.CV
发布日期: 2023-11-21 (更新: 2024-03-29)
💡 一句话要点
提出描述符与词汇汤以解决少样本OOD学习中的参数效率问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 少样本学习 OOD学习 多模态研究 参数效率 模型集成
📋 核心要点
- 现有的零-shot方法在有少量OOD训练数据时无法进行训练，导致准确性不足。
- 本文提出的描述符汤和词汇汤方法能够在测试时不依赖大型语言模型，灵活利用训练数据。
- 实验结果表明，词汇汤在OOD准确性上优于现有的少样本方法，且参数需求更低。
📝 摘要（中文）
在过去一年中，围绕使用GPT描述符的零-shot评估研究大量涌现。这些研究通过生成特定标签的文本来提升预训练视觉语言模型的零-shot准确性。最近的研究WaffleCLIP表明，使用随机描述符的集成也能实现类似的零-shot准确性。然而，这两种零-shot方法在有少量OOD训练数据时无法进行训练，因此表现不佳。受这些研究启发，本文提出了描述符汤和词汇汤两种灵活的方法，这些方法在测试时不需要大型语言模型，并能利用训练数据提高OOD目标准确性。描述符汤通过贪婪选择一小组文本描述符来计算稳健的类别嵌入，而词汇汤则以类似方式组装词链。与现有的少样本软提示调优方法相比，词汇汤在构造上需要更少的参数和GPU内存，并且不需要反向传播。两种汤在跨数据集和领域泛化基准上超越了当前已发布的少样本方法。
🔬 方法详解
问题定义：本文旨在解决在少样本OOD学习中，现有零-shot方法无法利用训练数据的问题。这些方法在有少量OOD训练数据时表现不佳，导致准确性不足。
核心思路：论文提出的描述符汤和词汇汤方法通过贪婪选择文本描述符和词汇链，能够在不依赖大型语言模型的情况下，利用训练数据来提高OOD目标准确性。
技术框架：整体架构包括两个主要模块：描述符汤和词汇汤。描述符汤选择一小组文本描述符并计算类别嵌入，而词汇汤则通过组装词链来构建模型。
关键创新：最重要的技术创新在于这两种方法不需要反向传播，减少了参数需求和GPU内存使用，同时在准确性上超越了现有的少样本方法。
关键设计：描述符汤和词汇汤的设计中，贪婪选择策略是关键，确保了所选描述符和词汇链的有效性。此外，模型在训练时的参数设置和损失函数设计也经过优化，以提高性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，词汇汤在OOD准确性上优于当前最先进的少样本方法，且在与WaffleCLIP等方法结合时，仍能保持较高的准确性。具体而言，词汇汤在多个基准测试中表现出更低的参数需求和更高的准确性，展示了其优越性。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、自然语言处理和多模态学习等。通过提高少样本OOD学习的准确性，这些方法可以在实际场景中更好地处理数据稀缺问题，具有重要的实际价值和未来影响。
📄 摘要（原文）
Over the past year, a large body of multimodal research has emerged around zero-shot evaluation using GPT descriptors. These studies boost the zero-shot accuracy of pretrained VL models with an ensemble of label-specific text generated by GPT. A recent study, WaffleCLIP, demonstrated that similar zero-shot accuracy can be achieved with an ensemble of random descriptors. However, both zero-shot methods are un-trainable and consequently sub-optimal when some few-shot out-of-distribution (OOD) training data is available. Inspired by these prior works, we present two more flexible methods called descriptor and word soups, which do not require an LLM at test time and can leverage training data to increase OOD target accuracy. Descriptor soup greedily selects a small set of textual descriptors using generic few-shot training data, then calculates robust class embeddings using the selected descriptors. Word soup greedily assembles a chain of words in a similar manner. Compared to existing few-shot soft prompt tuning methods, word soup requires fewer parameters by construction and less GPU memory, since it does not require backpropagation. Both soups outperform current published few-shot methods, even when combined with SoTA zero-shot methods, on cross-dataset and domain generalization benchmarks. Compared with SoTA prompt and descriptor ensembling methods, such as ProDA and WaffleCLIP, word soup achieves higher OOD accuracy with fewer ensemble members. Please checkout our code: github.com/Chris210634/word_soups