Towards more Practical Threat Models in Artificial Intelligence Security

📄 arXiv: 2311.09994v2 📥 PDF

作者: Kathrin Grosse, Lukas Bieringer, Tarek Richard Besold, Alexandre Alahi

分类: cs.CR, cs.AI

发布日期: 2023-11-16 (更新: 2024-03-26)

备注: 18 pages, 4 figures, 8 tables, accepted to Usenix Security, incorporated external feedback

💡 一句话要点

提出更实用的威胁模型以解决人工智能安全问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 人工智能安全 威胁模型 攻击模型 工业应用 安全风险

📋 核心要点

  1. 核心问题：现有的AI安全研究与实际应用之间存在显著差距，威胁模型的假设往往不符合现实环境。
  2. 方法要点：通过对六种主要攻击的威胁模型进行重新审视，并结合工业从业者的反馈，提出更实用的威胁模型。
  3. 实验或效果：研究表明，现有威胁模型在理论上适用，但在实际应用中存在显著的不匹配，呼吁进行更实用的研究。

📝 摘要（中文）

近期研究发现，人工智能安全领域存在学术研究与实际应用之间的差距：学术界研究的威胁并不总是反映AI的实际使用和安全风险。本文通过对271名工业从业者的调查，重新审视了六种最常研究的攻击的威胁模型，并将其与实际AI使用进行匹配。研究发现，现有的威胁模型在理论上是适用的，但在实际应用中存在显著的不匹配，尤其是研究往往对攻击者的假设过于宽松，假定其能够获取在现实环境中不常见的信息。本文呼吁对人工智能安全领域进行更实用的威胁模型研究。

🔬 方法详解

问题定义：本文旨在解决人工智能安全研究中存在的威胁模型与实际应用之间的差距。现有方法往往假设攻击者能够获取不常见的信息，导致研究结果在实际应用中不具备可操作性。

核心思路：论文的核心思路是通过对六种最常见攻击的威胁模型进行重新审视，并结合271名工业从业者的反馈，识别出实际应用中的安全风险和威胁模型的不足。

技术框架：研究首先对现有的威胁模型进行分类和分析，然后通过调查收集工业界的反馈，最后将理论模型与实际应用进行匹配，识别出不匹配的地方。

关键创新：最重要的技术创新在于将学术界的威胁模型与工业界的实际使用相结合，揭示了现有研究对攻击者假设的过于宽松的缺陷。

关键设计：在调查设计中，重点关注了攻击者可能获得的信息类型和实际应用场景，确保收集的数据能够真实反映工业界的安全需求。通过对比分析，识别出理论与实践之间的主要差异。

📊 实验亮点

研究结果表明，现有的威胁模型在理论上适用，但在实际应用中存在显著的不匹配，尤其是在攻击者信息获取的假设上。通过对271名工业从业者的调查，识别出具体的安全风险和威胁模型的不足，呼吁进行更实用的研究。

🎯 应用场景

该研究的潜在应用领域包括人工智能系统的安全评估、风险管理和安全防护策略的制定。通过提供更实用的威胁模型，企业可以更有效地识别和应对AI系统中的安全风险，从而提升整体安全性。未来，该研究可能推动AI安全领域的标准化和规范化发展。

📄 摘要（原文）

Recent works have identified a gap between research and practice in artificial intelligence security: threats studied in academia do not always reflect the practical use and security risks of AI. For example, while models are often studied in isolation, they form part of larger ML pipelines in practice. Recent works also brought forward that adversarial manipulations introduced by academic attacks are impractical. We take a first step towards describing the full extent of this disparity. To this end, we revisit the threat models of the six most studied attacks in AI security research and match them to AI usage in practice via a survey with 271 industrial practitioners. On the one hand, we find that all existing threat models are indeed applicable. On the other hand, there are significant mismatches: research is often too generous with the attacker, assuming access to information not frequently available in real-world settings. Our paper is thus a call for action to study more practical threat models in artificial intelligence security.