Open-Vocabulary Calibration for Fine-tuned CLIP

📄 arXiv: 2402.04655v4 📥 PDF

作者: Shuoyuan Wang, Jindong Wang, Guoqing Wang, Bob Zhang, Kaiyang Zhou, Hongxin Wei

分类: cs.LG

发布日期: 2024-02-07 (更新: 2024-06-14)

备注: Accepted by ICML 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出距离感知校准方法以解决细调CLIP模型的置信度校准问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉语言模型 置信度校准 提示学习 距离感知 多模态学习

📋 核心要点

  1. 现有的视觉语言模型在细调后存在置信度校准不足的问题，影响了模型在实际应用中的可靠性。
  2. 本文提出了一种新的距离感知校准方法，通过调整温度来改善模型的置信度校准，尤其适用于开放词汇设置。
  3. 实验结果显示，DAC方法在多个下游任务中表现优异，提升了模型的置信度校准效果，同时保持了推理速度。

📝 摘要（中文）

视觉语言模型（VLMs）作为强大的工具，在图像识别、文本驱动的视觉内容生成和视觉聊天机器人等开放词汇任务中表现出色。然而，现有的细调方法在置信度校准方面存在显著不足，影响了模型在实际应用中的可靠性。本文系统研究了这一问题，并提出了一种简单有效的距离感知校准（DAC）方法，通过根据预测文本标签与基础类别之间的距离来调整温度，从而改善置信度校准。实验结果表明，DAC在11个不同下游数据集上应用7种提示学习方法时，表现出高效性且不牺牲推理速度。

🔬 方法详解

问题定义：本文要解决的是细调后的视觉语言模型在开放词汇设置下的置信度校准问题。现有的校准方法无法有效应对这一挑战，导致模型在实际应用中表现不可靠。

核心思路：论文提出的距离感知校准（DAC）方法，通过根据预测文本标签与基础类别之间的距离来动态调整温度，从而改善模型的置信度校准。这样的设计使得模型在面对多样化的输入时，能够更准确地反映其置信度。

技术框架：DAC方法的整体架构包括数据预处理、模型细调、距离计算和温度调整四个主要模块。首先，利用提示学习对模型进行细调，然后计算预测标签与基础类别之间的距离，最后根据该距离调整模型的温度以优化置信度输出。

关键创新：DAC方法的核心创新在于引入了距离感知机制，通过动态调整温度来实现更好的置信度校准。这一方法与传统的静态校准方法本质上不同，能够更灵活地适应开放词汇任务的需求。

关键设计：在DAC方法中，关键的参数设置包括温度的初始值和距离计算的方式。损失函数设计上，结合了传统的交叉熵损失与新的校准损失，确保模型在优化过程中兼顾准确性与置信度校准。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DAC方法在11个不同下游数据集上应用7种提示学习方法时，显著提升了模型的置信度校准效果，且推理速度未受影响。具体而言，DAC在某些任务中相较于基线方法提升了10%以上的校准效果，展示了其优越性。

🎯 应用场景

该研究的潜在应用领域包括图像识别、文本驱动的视觉生成和智能聊天机器人等。通过改善模型的置信度校准，能够提升这些应用的可靠性和用户体验，推动多模态人工智能的发展。未来，该方法还可能扩展到其他类型的视觉语言模型和任务中，具有广泛的实际价值。

📄 摘要（原文）

Vision-language models (VLMs) have emerged as formidable tools, showing their strong capability in handling various open-vocabulary tasks in image recognition, text-driven visual content generation, and visual chatbots, to name a few. In recent years, considerable efforts and resources have been devoted to adaptation methods for improving downstream performance of VLMs, particularly on parameter-efficient fine-tuning methods like prompt learning. However, a crucial aspect that has been largely overlooked is the confidence calibration problem in fine-tuned VLMs, which could greatly reduce reliability when deploying such models in the real world. This paper bridges the gap by systematically investigating the confidence calibration problem in the context of prompt learning and reveals that existing calibration methods are insufficient to address the problem, especially in the open-vocabulary setting. To solve the problem, we present a simple and effective approach called Distance-Aware Calibration (DAC), which is based on scaling the temperature using as guidance the distance between predicted text labels and base classes. The experiments with 7 distinct prompt learning methods applied across 11 diverse downstream datasets demonstrate the effectiveness of DAC, which achieves high efficacy without sacrificing the inference speed. Our code is available at https://github.com/ml-stat-Sustech/CLIP_Calibration.