The Pen is Mightier than the Pixel: Natural Textual Unlearnable Example for Large Vision Language Models

📄 arXiv: 2611.04817v1 📥 PDF

作者: Chenyu Yi, Jiawen Zong, Sami Hormi, Bingquan Shen, Xudong Jiang, Alex Chichung Kot

分类: cs.AI

发布日期: 2026-11-03

💡 一句话要点

提出自然文本不可学习示例以保护大规模视觉语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大规模视觉语言模型 不可学习示例 数据隐私 多模态数据 文本扰动

📋 核心要点

  1. 现有方法在处理大规模视觉语言模型时面临独特挑战，尤其是在多模态数据的隐私保护方面。
  2. 本文提出自然文本不可学习示例（NTUE），通过微调图像标签来误导模型，避免引入错误信息。
  3. 实验结果显示，NTUE在成功率和毒害率方面优于传统方法，证明其在多模态数据保护中的有效性。

📝 摘要（中文）

随着大规模视觉语言模型（LVLMs）的广泛应用，数据隐私和未经授权使用的问题日益突出。不可学习示例（UEs）通过微妙地扰动训练数据来误导模型，成为一种有前景的防御方法。本文首次探讨了UEs在LVLMs上的应用，提出了一种新颖的文本扰动方法——自然文本不可学习示例（NTUE），该方法通过微调图像标签有效误导LVLMs，建立了目标身份与分离目标之间的快捷方式，而不引入事实错误或影响可读性。综合实验表明，NTUE在与传统UE方法的比较中表现优越，成功率高达5%的毒害率，显示出其在保护多模态数据方面的潜力。

🔬 方法详解

问题定义：本文旨在解决大规模视觉语言模型（LVLMs）在数据隐私保护中的不足，现有方法难以有效处理多模态数据的不可学习示例问题。

核心思路：提出自然文本不可学习示例（NTUE），通过对图像标签的微妙扰动，建立身份与目标之间的联系，避免引入错误信息，确保可读性。

技术框架：NTUE方法包括数据预处理、扰动生成和模型评估三个主要模块。首先对输入数据进行分析，然后生成扰动，最后评估模型在扰动数据上的表现。

关键创新：NTUE的创新在于其文本基础的扰动方法，能够在不影响可读性的情况下有效误导LVLMs，与传统UE方法相比，提供了更高的灵活性和适应性。

关键设计：在设计中，NTUE采用了低毒害率（5%）的策略，确保在保持数据有效性的同时，最大化对模型的误导效果。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，NTUE在成功率方面表现优越，毒害率仅为5%时仍能实现高效误导，显著优于传统不可学习示例方法，展示了其在多模态数据保护中的实际应用潜力。

🎯 应用场景

该研究在保护多模态数据隐私方面具有广泛的应用潜力，尤其适用于医疗、金融和社交媒体等领域，能够有效防止数据泄露和滥用。未来，NTUE方法可能会推动更安全的AI系统设计，提升用户对数据隐私的信任。

📄 摘要（原文）

The proliferation of Large Vision Language Models (LVLMs), trained on vast and often sensitive datasets, raised concerns regarding data privacy and unauthorized usage. Unlearnable Examples (UEs), which subtly perturb training data to mislead the models, have emerged as a promising defense method. This paper presents the first exploration of UEs specifically on LVLMs, which poses unique challenges due to their inherent multimodal nature. We propose a novel text-based perturbation method, Natural Textual Unlearnable Examples (NTUE), which can effectively mislead LVLMs by subtly manipulating the image label, establishing a shortcut between an identity of interest and a separate target, without introducing factual misinformation or affecting readability. Comprehensive experiments compared with traditional UE methods demonstrate the superior performance of NTUE. Our findings show that NTUE achieves a high success rate with a poison rate as low as 5%, underscoring its potential as a practical and robust solution for protecting multimodal data in the era of LVLMs.