Fast Certification of Vision-Language Models Using Incremental Randomized Smoothing

📄 arXiv: 2311.09024v2 📥 PDF

作者: A K Nirala, A Joshi, C Hegde, S Sarkar

分类: cs.CV

发布日期: 2023-11-15 (更新: 2024-01-04)

💡 一句话要点

提出开放词汇认证方法以提升视觉语言模型的鲁棒性

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇认证 视觉语言模型 随机平滑 对抗攻击 模型鲁棒性 深度学习 分类器认证

📋 核心要点

  1. 现有的CLIP模型在面对对抗攻击时表现出脆弱性，影响其在实际应用中的可靠性。
  2. 本文提出的开放词汇认证（OVC）方法通过随机平滑技术快速认证新提示的分类器，显著提升了认证效率。
  3. 实验结果显示，OVC在多个视觉语言模型上实现了认证过程的加速，验证了其有效性。

📝 摘要（中文）

深度视觉语言模型如CLIP的一个关键优势是支持零-shot开放词汇分类，用户可以在推理时通过自然语言提示定义新类别标签。然而，CLIP基于的零-shot分类器在面对对抗攻击时表现出高度脆弱性。因此，确保这些模型的鲁棒性对于其在实际环境中的可靠部署至关重要。本文提出了一种快速认证方法——开放词汇认证（OVC），利用随机平滑技术为开放词汇模型如CLIP进行认证。OVC通过观察新提示的分类器可以视为基于训练集的相邻分类器的扰动版本，从而快速认证新分类器。通过缓存技巧，OVC在认证过程中实现了约两个数量级的加速，并通过多元正态分布近似输入的嵌入空间，进一步提高了速度。实验结果表明，OVC在CIFAR-10和ImageNet测试数据集上表现出色。

🔬 方法详解

问题定义：本文旨在解决深度视觉语言模型在面对对抗攻击时的脆弱性，现有方法在认证新提示分类器时效率低下，难以满足实际应用需求。

核心思路：开放词汇认证（OVC）方法的核心思想是将新提示的分类器视为基于训练集的相邻分类器的扰动版本，从而利用随机平滑技术快速进行认证。

技术框架：OVC的整体架构包括两个主要模块：首先是基于训练集的分类器缓存，其次是通过多元正态分布近似输入的嵌入空间，避免了通过视觉骨干网络进行前向传递的采样需求。

关键创新：OVC的主要创新在于通过缓存技巧实现了认证过程的显著加速，达到约两个数量级的提升，同时通过近似嵌入空间进一步提高了速度，与现有方法相比具有本质区别。

关键设计：在参数设置上，OVC采用了多元正态分布来近似输入嵌入，设计了高效的缓存机制以存储训练集分类器，确保认证过程的高效性。具体的损失函数和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OVC在CIFAR-10和ImageNet测试数据集上实现了显著的性能提升，认证速度提高了约两个数量级，验证了其在实际应用中的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自动化内容分类、智能搜索引擎以及人机交互系统等。通过提升视觉语言模型的鲁棒性，OVC能够在多种实际场景中提供更可靠的分类结果，推动智能系统的广泛应用与发展。

📄 摘要（原文）

A key benefit of deep vision-language models such as CLIP is that they enable zero-shot open vocabulary classification; the user has the ability to define novel class labels via natural language prompts at inference time. However, while CLIP-based zero-shot classifiers have demonstrated competitive performance across a range of domain shifts, they remain highly vulnerable to adversarial attacks. Therefore, ensuring the robustness of such models is crucial for their reliable deployment in the wild. In this work, we introduce Open Vocabulary Certification (OVC), a fast certification method designed for open-vocabulary models like CLIP via randomized smoothing techniques. Given a base "training" set of prompts and their corresponding certified CLIP classifiers, OVC relies on the observation that a classifier with a novel prompt can be viewed as a perturbed version of nearby classifiers in the base training set. Therefore, OVC can rapidly certify the novel classifier using a variation of incremental randomized smoothing. By using a caching trick, we achieve approximately two orders of magnitude acceleration in the certification process for novel prompts. To achieve further (heuristic) speedups, OVC approximates the embedding space at a given input using a multivariate normal distribution bypassing the need for sampling via forward passes through the vision backbone. We demonstrate the effectiveness of OVC on through experimental evaluation using multiple vision-language backbones on the CIFAR-10 and ImageNet test datasets.