Robust Fine-Tuning of Vision-Language Models for Domain Generalization
作者: Kevin Vogt-Lowell, Noah Lee, Theodoros Tsiligkaridis, Marc Vaillant
分类: cs.CV, cs.AI, cs.CL, cs.LG
发布日期: 2023-11-03
备注: In proceedings of the 27th IEEE High Performance Extreme Computing Conference
🔗 代码/项目: GITHUB
💡 一句话要点
提出一种新方法以增强视觉-语言模型在领域泛化中的鲁棒性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 迁移学习 视觉-语言模型 少样本学习 分布泛化 CLIP模型 鲁棒性 WILDS数据集
📋 核心要点
- 现有的迁移学习方法在有限训练数据的情况下表现不佳，导致模型在分布变化下的泛化能力不足。
- 本文提出了一种新的少样本微调方法，专注于视觉-语言基础模型CLIP，以应对复杂的分布变化。
- 实验结果显示，少样本微调的CLIP在复杂基准上超越了视觉模型，提升了在分布内外的准确性。
📝 摘要（中文）
迁移学习使得模型能够共享常见知识以应对多种下游任务，但传统方法在有限训练数据的情况下表现不佳，导致模型在分布变化下的泛化能力不足。基础模型在零样本推理和分布变化下表现出色，但其零样本评估主要局限于简单的分布变化，限制了对其实际有效性的理解。本文提出了一种新的少样本微调方法，针对流行的视觉-语言基础模型CLIP，并在WILDS数据集中评估其在复杂基准上的表现。实验结果表明，尽管零样本CLIP在复杂基准上未能超越训练模型，但少样本微调的CLIP在所有训练数据可用性水平上均优于视觉模型，显示出在实际应用中的强大潜力。
🔬 方法详解
问题定义：本文旨在解决传统迁移学习方法在有限训练数据下的泛化能力不足的问题，尤其是在复杂的分布变化场景中，现有方法未能有效应对。
核心思路：论文提出了一种新的少样本微调策略，针对视觉-语言基础模型CLIP进行优化，以提高其在真实世界数据中的表现，尤其是在复杂的分布变化下。
技术框架：整体架构包括数据预处理、模型微调和性能评估三个主要阶段。首先，利用WILDS数据集进行数据预处理，然后对CLIP模型进行少样本微调，最后在多个基准上进行性能评估。
关键创新：最重要的技术创新在于提出了一种新的微调策略，使得CLIP模型在少样本情况下能够超越传统视觉模型的表现，特别是在复杂的分布变化场景中。
关键设计：在微调过程中，采用了特定的损失函数和参数设置，以确保模型能够在有限数据下进行有效学习，同时保持对分布变化的鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，少样本微调的CLIP模型在复杂基准上表现优异，相较于视觉模型在分布内和分布外的准确性均有显著提升，尤其在训练数据有限的情况下，展示了更强的鲁棒性和适应性。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、自然语言处理和多模态学习等。通过提高视觉-语言模型在少样本学习中的表现，能够更好地应对真实世界中的数据稀缺问题，推动相关领域的技术进步和应用落地。
📄 摘要（原文）
Transfer learning enables the sharing of common knowledge among models for a variety of downstream tasks, but traditional methods suffer in limited training data settings and produce narrow models incapable of effectively generalizing under distribution shifts. Foundation models have recently demonstrated impressive zero-shot inference capabilities and robustness under distribution shifts. However, zero-shot evaluation for these models has been predominantly confined to benchmarks with simple distribution shifts, limiting our understanding of their effectiveness under the more realistic shifts found in practice. Moreover, common fine-tuning methods for these models have yet to be evaluated against vision models in few-shot scenarios where training data is limited. To address these gaps, we present a new recipe for few-shot fine-tuning of the popular vision-language foundation model CLIP and evaluate its performance on challenging benchmark datasets with realistic distribution shifts from the WILDS collection. Our experimentation demonstrates that, while zero-shot CLIP fails to match performance of trained vision models on more complex benchmarks, few-shot CLIP fine-tuning outperforms its vision-only counterparts in terms of in-distribution and out-of-distribution accuracy at all levels of training data availability. This provides a strong incentive for adoption of foundation models within few-shot learning applications operating with real-world data. Code is available at https://github.com/mit-ll/robust-vision-language-finetuning