Few-Shot Adversarial Prompt Learning on Vision-Language Models
作者: Yiwei Zhou, Xiaobo Xia, Zhiwei Lin, Bo Han, Tongliang Liu
分类: cs.CV, cs.CL, cs.CR, cs.LG
发布日期: 2024-03-21 (更新: 2024-10-23)
备注: NeurIPS 2024
🔗 代码/项目: GITHUB
💡 一句话要点
提出少样本对抗提示学习框架以提升视觉语言模型的对抗鲁棒性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 对抗学习 视觉语言模型 少样本学习 多模态融合 鲁棒性提升
📋 核心要点
- 现有方法在对抗鲁棒性方面存在适应成本高、文本监督效果不佳和泛化能力受限等挑战。
- 本文提出了一种少样本对抗提示框架，通过有限数据适应输入序列以提升对抗鲁棒性，采用对抗相关文本监督。
- 实验结果表明，该框架在仅使用1%训练数据的情况下，能够实现与最先进的零样本对抗鲁棒性相匹配的效果。
📝 摘要（中文）
深度神经网络对微小对抗扰动的脆弱性引起了广泛关注。受视觉语言基础模型成功的启发，之前的研究通过对齐对抗视觉特征与文本监督实现了零样本对抗鲁棒性。然而，实际应用中仍存在适应成本高、文本监督不理想和自然泛化能力不受控等问题。为了解决这些问题，本文提出了一种少样本对抗提示框架，通过有限数据适应输入序列显著提升对抗鲁棒性。具体而言，我们通过从对抗样本中端到端学习的对抗相关文本监督来实现这一目标。我们还提出了一种新颖的训练目标，增强多模态特征的一致性，同时鼓励自然样本与对抗样本之间的单模态特征差异。该框架能够学习对抗文本监督，提供优越的跨模态对抗对齐，并在仅使用1%训练数据的情况下匹配最先进的零样本对抗鲁棒性。
🔬 方法详解
问题定义：本文旨在解决深度神经网络在面对对抗扰动时的脆弱性，现有方法在适应成本和文本监督效果上存在不足。
核心思路：提出少样本对抗提示框架，通过有限数据适应输入序列，利用对抗样本生成的文本监督来提升对抗鲁棒性。
技术框架：整体架构包括输入序列的适应、对抗文本监督的生成和多模态特征的一致性增强，主要模块包括对抗样本生成、文本监督学习和特征一致性优化。
关键创新：最重要的创新点在于通过对抗样本生成的文本监督实现了跨模态对抗对齐，显著提升了对抗鲁棒性，与传统方法相比具有本质区别。
关键设计：设计了新的训练目标，强调多模态特征的一致性和单模态特征的差异性，具体参数设置和损失函数的设计细节在论文中详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的框架在仅使用1%训练数据的情况下，达到了与最先进的零样本对抗鲁棒性相匹配的性能，显著提升了对抗样本的处理能力，展示了良好的跨模态对抗对齐效果。
🎯 应用场景
该研究的潜在应用领域包括安全性要求高的视觉识别系统、自动驾驶、医疗影像分析等。通过提升模型的对抗鲁棒性，可以有效增强这些系统在真实世界中的可靠性和安全性，具有重要的实际价值和未来影响。
📄 摘要（原文）
The vulnerability of deep neural networks to imperceptible adversarial perturbations has attracted widespread attention. Inspired by the success of vision-language foundation models, previous efforts achieved zero-shot adversarial robustness by aligning adversarial visual features with text supervision. However, in practice, they are still unsatisfactory due to several issues, including heavy adaptation cost, suboptimal text supervision, and uncontrolled natural generalization capacity. In this paper, to address these issues, we propose a few-shot adversarial prompt framework where adapting input sequences with limited data makes significant adversarial robustness improvement. Specifically, we achieve this by providing adversarially correlated text supervision that is end-to-end learned from adversarial examples. We also propose a novel training objective that enhances the consistency of multi-modal features while encourages differentiated uni-modal features between natural and adversarial examples. The proposed framework gives access to learn adversarial text supervision, which provides superior cross-modal adversarial alignment and matches state-of-the-art zero-shot adversarial robustness with only 1% training data. Code is available at: https://github.com/lionel-w2/FAP.