A Red-Team Study of Anthropic Fable 5 & Opus 4.8 Models

📄 arXiv: 2606.18193v1 📥 PDF

作者: Nicola Franco

分类: cs.CR, cs.AI, cs.CL

发布日期: 2026-06-16

备注: White paper

💡 一句话要点

评估Anthropic Fable 5与Opus 4.8模型的对抗鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗鲁棒性 大型语言模型 自动化攻击 红队测试 安全性评估

📋 核心要点

  1. 现有大型语言模型在对抗攻击下的鲁棒性不足，尤其是面对适应性攻击时表现不佳。
  2. 本文采用HackAgent红队框架，系统评估Fable 5与Opus 4.8模型的对抗能力，生成大量对抗样本进行测试。
  3. 实验结果表明，尽管模型在大多数攻击中表现良好，但仍有显著的攻击成功率，尤其是适应性攻击的影响不可忽视。

📝 摘要（中文）

本文评估了Anthropic开发的两款前沿大型语言模型Fable 5和Opus 4.8的对抗鲁棒性，针对四类自动越狱攻击进行了测试，涵盖了7826种有害意图，涉及十类伤害分类。使用HackAgent红队框架生成了数十万次对抗尝试，并由三位评审模型独立复审每个成功案例。结果显示，尽管两款模型抵御了大多数攻击，但仍存在较大的残余攻击面，尤其是适应性迭代攻击。Opus 4.8在11.5%的意图上被突破，而Fable 5则在6.1%的最坏情况下被突破。即使在经过强化的配置下，两款模型仍产生了1620个（Opus 4.8）和702个（Fable 5）经确认的有害输出，表明即便是经过充分测试的前沿模型在持续的自动化压力下仍然容易被攻破。

🔬 方法详解

问题定义：本文旨在评估Anthropic的Fable 5和Opus 4.8模型在面对自动化越狱攻击时的对抗鲁棒性。现有方法在处理适应性攻击时表现出较大的脆弱性，尤其是在多种有害意图的情况下。

核心思路：通过使用HackAgent红队框架，生成数十万次对抗尝试，并通过三位评审模型进行独立复审，以确保评估结果的可靠性和准确性。

技术框架：研究采用了红队测试的整体架构，主要包括对抗样本生成、攻击分类、模型评估和结果复审四个阶段。每个阶段都旨在系统性地评估模型的对抗能力。

关键创新：本文的创新在于系统性地评估了两款前沿模型在多种攻击下的表现，尤其是对适应性迭代攻击的深入分析，揭示了模型在对抗攻击下的脆弱性。

关键设计：在实验中，采用了多种攻击策略，包括静态混淆和适应性搜索，评估模型在不同攻击下的表现，并通过多数投票机制确保评审结果的客观性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Opus 4.8在11.5%的意图上被成功攻破，而Fable 5的最坏情况突破率为6.1%。即使在经过强化的配置下，两款模型仍产生了1620个和702个经确认的有害输出，表明其在对抗攻击下的脆弱性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能对话系统和安全性评估等。通过深入理解模型的对抗鲁棒性，可以为未来的模型设计提供指导，增强其在实际应用中的安全性和可靠性。

📄 摘要（原文）

We evaluate the adversarial robustness of two frontier large language models (LLMs) developed by Anthropic, Fable 5 and Opus 4.8, against four families of automated jailbreak attack across 7 826 harmful intents spanning a ten-category harm taxonomy. Using the HackAgent red-teaming framework, hundreds of thousands of adversarial attempts were generated and every apparent success was independently re-adjudicated by a panel of three judge models (majority vote). Both models resist the majority of attacks, but the residual surface is larger than aggregate framing suggests: it is dominated by adaptive iterative attacks, while static obfuscation is near-fully neutralised. The strongest adaptive search (tree-of-attacks) breaks Opus 4.8 on 11.5% of intents overall, whereas Fable 5 stays in the single digits (6.1% worst-case). Aggregate rates therefore should not be read as reassurance. Even in these hardened configurations, the two models produced 1 620 (Opus 4.8) and 702 (Fable 5) panel-confirmed harmful completions spanning every harm category, located automatically, cheaply, and within the first one or two refinement steps by an attacker model with no human expert in the loop. The reasonable conclusion is that even the best, most-tested frontier models remain reliably breakable under sustained automated pressure.