AdversaBench: Automated LLM Red-Teaming with Multi-Judge Confirmation and Cross-Model Transferability
作者: Khanak Khandelwal
分类: cs.AI, cs.CL
发布日期: 2026-06-23
备注: 10 pages, 4 figures, 5 tables. Code and data at https://github.com/khanak0509/AdversaBench
🔗 代码/项目: GITHUB
💡 一句话要点
提出AdversaBench以解决大语言模型的对抗性评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 对抗性评估 大语言模型 红队评估 多评审机制 模型脆弱性
📋 核心要点
- 现有方法在生成困难输入和确认失败的可靠性方面存在不足，难以全面评估大语言模型的对抗性。
- 论文提出的AdversaBench通过变异种子提示并结合多评审机制，提供了一种系统化的对抗性评估方法。
- 实验结果显示，所有种子均产生确认失败，且不同类别的操作有效性差异显著，指令跟随类种子需要更多的攻击迭代。
📝 摘要（中文）
随着大语言模型的规模扩大，对其进行对抗性评估的需求日益增加。本文提出AdversaBench，一个端到端的红队评估管道，通过五种结构化操作变异种子提示，查询目标模型，并通过三位评审小组及一个元评审进行失败确认。实验涵盖45个种子，涉及推理、指令跟随和工具使用三个类别，所有种子均产生了确认的失败。研究发现，不同类别的操作有效性差异显著，指令跟随种子平均需要2.4次攻击者迭代，而其他类别仅需1.1次。此外，针对Llama 3.1 8B生成的对抗性提示在Llama 3.3 70B上实现了零-shot迁移，表明这些变异利用了通用行为模式而非模型特定的弱点。
🔬 方法详解
问题定义：本文旨在解决大语言模型对抗性评估中的输入生成和失败确认的挑战。现有方法往往缺乏系统性，无法有效识别模型的脆弱性。
核心思路：AdversaBench通过变异种子提示并结合多评审机制，确保生成的对抗性输入能够有效揭示模型的弱点，并通过三位评审的确认提高结果的可靠性。
技术框架：该方法包括五个主要模块：种子提示变异、目标模型查询、失败确认、评审小组评估和元评审机制。通过这些模块的协同作用，实现了对抗性评估的系统化。
关键创新：最重要的创新在于引入了多评审机制，结合三位评审和元评审的设计，显著提高了失败确认的准确性和可靠性。这一方法与传统的单一评审方法形成了鲜明对比。
关键设计：在操作设计上，论文使用了五种结构化变异操作，并通过实验确定了不同类别的操作有效性。此外，评审小组的组成和评估标准也经过精心设计，以确保评估结果的客观性和一致性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所有45个种子均产生了确认的失败，且不同类别的操作有效性差异显著。指令跟随类种子平均需要2.4次攻击者迭代，而推理和工具使用类仅需1.1次。此外，针对Llama 3.1 8B生成的对抗性提示在Llama 3.3 70B上实现了零-shot迁移，表明该方法的广泛适用性。
🎯 应用场景
AdversaBench的研究成果可广泛应用于大语言模型的安全性评估、模型优化和对抗性训练等领域。通过系统化的对抗性评估，研究人员和开发者能够更好地识别和修复模型的脆弱性，从而提升模型的鲁棒性和可靠性。未来，该方法还可能推动对抗性机器学习的进一步研究和应用。
📄 摘要（原文）
Scaling adversarial evaluation of large language models requires both a method for generating hard inputs and a reliable way to confirm that resulting failures are real. We present AdversaBench, an end-to-end red-teaming pipeline that mutates seed prompts with five structured operators, queries a target model, and confirms failures through a three-judge panel with a meta-judge tiebreaker. We report experiments on 45 seeds across three categories: reasoning, instruction-following, and tool use. Every seed produced a confirmed failure. Four findings stand out. First, operator effectiveness varies sharply by category: inject_distractor scores 0.00 mean reward on instruction-following seeds but 0.80-0.83 on reasoning and tool-use. Second, binary failure rate hides difficulty: instruction-following seeds required 2.4 attacker iterations on average versus 1.1 for other categories, a gap visible in survival curves. Third, pairwise judge agreement of 80-87% coexists with near-zero Cohen's kappa due to label skew; category-level disagreement rates are more informative. Fourth, adversarial prompts generated against Llama 3.1 8B transfer zero-shot to Llama 3.3 70B, suggesting the mutations exploit general behavioral patterns rather than model-specific weaknesses. Code, dataset, and analysis scripts are available at https://github.com/khanak0509/AdversaBench .