aiXamine: Unified Black-Box Evaluation of Cross-Dimensional Trade-offs in LLM Safety, Security, and Privacy
作者: Fatih Deniz, Yazan Boshmaf, Dorde Popovic, Issa Khalil
分类: cs.CR, cs.LG
发布日期: 2026-08-20
💡 一句话要点
提出aiXamine以解决LLM安全性、隐私和安全性评估的多维问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 安全性评估 隐私保护 跨维度分析 黑箱评估
📋 核心要点
- 现有评估框架独立评估LLM的安全性、隐私和安全性，无法识别它们之间的相互影响，导致潜在的风险未被发现。
- 提出aiXamine作为一个统一的黑箱评估平台，通过自动化红队测试管道，评估LLM在多个维度上的可信度。
- 通过对120多个LLM进行5000多次测试，发现安全性、隐私和安全性之间的复杂交互，揭示了传统评估方法的局限性。
📝 摘要（中文）
在部署的大型语言模型（LLMs）中，关键的失败模式是跨维度的：模型在安全对齐上得分99.3，但拒绝三分之一的良性查询，或在每个能力指标上都有所提升，但隐私损失21分。现有的评估框架独立评估安全性、安全性和隐私，无法检测这些模式。我们提出了aiXamine，一个统一的黑箱平台，评估LLM在安全性、安全性和隐私方面的可信度，作为相互依赖的属性。aiXamine通过自动化的红队测试管道协调46项测试，生成从提示级诊断到跨服务权衡分析的层次风险概况，能够在相同条件下可重复比较专有和开放权重系统。通过对120多个LLM进行超过5000次测试，我们进行了迄今为止最大的联合安全性、安全性和隐私研究，发现了三个在单轴评估中不可见的跨维度现象。
🔬 方法详解
问题定义：论文要解决的问题是现有评估框架无法识别LLM在安全性、隐私和安全性之间的相互影响，导致潜在风险未被发现。
核心思路：论文提出aiXamine，一个统一的黑箱评估平台，旨在通过跨维度的评估方法，揭示LLM的可信度及其相互关系。
技术框架：aiXamine的整体架构包括自动化红队测试管道，协调46项测试，生成层次风险概况，涵盖从提示级诊断到跨服务权衡分析的多个模块。
关键创新：最重要的技术创新点在于将安全性、隐私和安全性视为相互依赖的属性，而非独立评估，从而揭示了多维度的信任问题。
关键设计：在测试过程中，采用了特定的参数设置和损失函数，以确保评估的准确性和可重复性，同时设计了适应不同服务的测试模块。
🖼️ 关键图片
📊 实验亮点
实验结果显示，aiXamine揭示了三个跨维度现象，包括安全性强制导致的安全税、隐私与其他维度的近正交关系，以及蒸馏引起的鲁棒性崩溃。特别是，蒸馏导致的鲁棒性从56.9降至2.6，显示出传统评估方法的局限性。
🎯 应用场景
该研究的潜在应用领域包括大型语言模型的安全性评估、隐私保护和安全性分析，能够为开发者提供更全面的模型评估工具，提升模型的可信度和用户信任。未来，aiXamine可能成为LLM开发和部署过程中的标准评估工具，推动行业的安全性和隐私保护进步。
📄 摘要（原文）
The critical failure modes in deployed large language models (LLMs) are cross-dimensional: a model can score 99.3 in safety alignment while refusing one in three benign queries, or improve across every capability metric while losing 21 points in privacy. Existing evaluation frameworks that assess safety, security, and privacy independently cannot detect these patterns. We introduce aiXamine, a unified black-box platform that evaluates LLM trustworthiness across safety, security, and privacy as interdependent properties. aiXamine orchestrates 46 tests across nine services through an automated red-teaming pipeline, producing hierarchical risk profiles, from prompt-level diagnostics to cross-service trade-off analytics, that enable reproducible comparison of proprietary and open-weight systems under identical conditions. Applying aiXamine to over 120 LLMs through more than 5,000 test runs, we conduct the largest joint safety, security, and privacy study to date and uncover three cross-dimensional phenomena invisible to single-axis evaluation. First, safety enforcement incurs a quantifiable safety tax: stronger alignment systematically increases over-refusal, forcing providers to choose between protection and utility. Second, privacy is near-orthogonal to other trustworthiness dimensions and not captured by standard alignment. Third, we identify and formally characterize distillation-induced robustness collapse: off-policy distillation without on-policy correction causes entropy collapse, catastrophically destroying robustness (56.9$\to$2.6) on the same base architecture. These findings, compounded by diminishing returns from scale and category-dependent safety behaviors, demonstrate that trustworthiness is inherently multi-dimensional: progress along one axis does not guarantee, and can actively undermine, progress along others, yet current alignment methods treat it as a single objective.