Adversarial Diffusion Across Modalities: A Fusion Survey of Attacks, Defenses, and Evaluation for Text, Vision, and Vision-Language Models

📄 arXiv: 2606.26566v1 📥 PDF

作者: Abrar Alotaibi, Moataz Ahmed

分类: cs.CR, cs.CL

发布日期: 2026-06-25

DOI: 10.2139/ssrn.6986762

💡 一句话要点

提出对抗性扩散方法以整合文本、视觉和视觉-语言模型的评估

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗性攻击 扩散模型 多模态融合 安全性评估 模型鲁棒性

📋 核心要点

  1. 现有的对抗性评估方法在文本、图像和视觉-语言模型之间缺乏统一的框架，导致研究成果难以比较和整合。
  2. 本文提出了一个统一的概念框架，将四个独立的研究轨道整合为一个六类扩散角色的分类法，并应用统一的评估标准。
  3. 通过对50篇相关文献的分析，本文识别了当前研究的不足，并提出了未来研究的方向和具体实验设计。

📝 摘要（中文）

对抗性评估AI系统的研究已在四个相对独立的轨道上成熟：基于扩散的文本和大型语言模型（LLMs）攻击、图像分类器的扩散攻击、针对视觉-语言模型的越狱管道，以及基于扩散的输入净化防御。每个轨道都有其独特的词汇、威胁模型和基准，去噪扩散模型作为共享的生成机制正在不同社区之间迁移。本文将这四个轨道整合为一个统一的概念框架，提出了六类扩散角色的分类法，并应用五维框架对不同模态进行评估。我们还识别了当前文献中的五个常见弱点，并提出了未来研究的开放问题和实验设计。

🔬 方法详解

问题定义：本文旨在解决对抗性评估领域中不同模态（文本、图像、视觉-语言）之间缺乏统一框架的问题。现有方法在词汇、威胁模型和基准上各自独立，导致研究成果难以比较和整合。

核心思路：论文通过信息融合的方法，将四个独立的研究轨道整合为一个统一的概念框架，提出了六类扩散角色的分类法，并应用统一的评估标准，以便于不同模态之间的比较和研究。

技术框架：整体架构包括四个主要模块：文本/LLM、图像分类器、视觉-语言模型和防御机制。每个模块都有相应的攻击和防御策略，并通过五维框架进行评估。

关键创新：最重要的创新在于提出了一个统一的分类法和评估框架，使得不同模态的对抗性攻击和防御可以在同一标准下进行比较，这在现有文献中尚未实现。

关键设计：在设计中，论文定义了攻击者知识、查询预算和目标可达性等威胁模型参数，并采用了攻击成功率、可转移性、查询预算、困惑度和防御规避等五个维度进行评估。

📊 实验亮点

实验结果表明，提出的统一框架能够有效地整合不同模态的对抗性评估，识别出当前文献中的五个主要弱点，并为未来的研究提供了明确的方向和实验设计。

🎯 应用场景

该研究的潜在应用领域包括安全性评估、模型鲁棒性测试和对抗样本生成等。通过提供统一的评估框架，研究者可以更有效地比较不同模型的对抗性表现，从而推动AI系统的安全性和可靠性提升。

📄 摘要（原文）

Adversarial evaluation of AI systems has matured along four largely disconnected tracks: diffusion-based attacks on text and large language models (LLMs), diffusion-based attacks on image classifiers, jailbreak pipelines against vision-language models, and diffusion-based input purification defenses. Each has developed its own vocabulary, threat models, and benchmarks, with denoising diffusion models emerging as a shared generative mechanism whose recipes are now actively ported between communities. This survey performs an information-fusion exercise at the meta-research level: we integrate these four tracks into a single conceptual framework with a unified taxonomy, evaluation criteria, and research agenda, focusing on the LLM-side slice. We catalog fifty published papers across four scope areas (text/LLM, image classifier, vision-language model, defense), plus four diffusion-LLM-as-victim entries and ten non-diffusion baselines against which any new attack must be compared. We propose a six-class taxonomy of diffusion roles in adversarial pipelines, augmented by a threat-model axis recording attacker knowledge, query budget, and target accessibility, and apply a five-dimension framework (attack success rate, transferability, query budget, perplexity, defense-evasion) uniformly across modalities. The review adopts a dual attacker-defender perspective: alongside the attack catalog we cover four diffusion-based defenses that form the natural evaluation backdrop for new attacks. Our critical analysis identifies five recurring weaknesses of the current LLM-side literature, and we close with a research agenda of open questions and concrete experimental designs. The companion catalog and spreadsheet are released with the paper. We are explicit that this is a narrative review with quality assessment, not a PRISMA-compliant systematic review, and discuss the implications for replication.