Malla: Demystifying Real-world Large Language Model Integrated Malicious Services

📄 arXiv: 2401.03315v3 📥 PDF

作者: Zilong Lin, Jian Cui, Xiaojing Liao, XiaoFeng Wang

分类: cs.CR, cs.AI

发布日期: 2024-01-06 (更新: 2024-08-19)

备注: Accepted at the 33rd USENIX Security Symposium (USENIX Security '24). The data and code are available at https://github.com/idllresearch/malicious-gpt

💡 一句话要点

研究Malla揭示大型语言模型在恶意服务中的应用与挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 恶意服务 网络安全 地下市场 数据挖掘 网络犯罪 公共API 策略分析

📋 核心要点

  1. 现有研究对大型语言模型在恶意服务中的利用缺乏系统性理解，导致对其影响和技术手段的认识不足。
  2. 本文通过分析212个Malla，揭示其在地下市场的运作模式及所使用的后端LLM，提供了对这一现象的深入理解。
  3. 研究发现了182个绕过公共LLM API保护的提示，揭示了Malla的滥用策略，为应对网络犯罪提供了重要见解。

📝 摘要（中文）

随着大型语言模型（LLMs）在恶意服务中的地下利用日益增加，网络威胁形势愈发严峻，信任度问题亟待解决。然而，针对这一新型网络犯罪的研究仍然较少。本文首次系统性研究了212个真实世界的Malla，揭示了其在地下市场的传播及运营模式。研究显示Malla生态系统的显著增长及其对公共LLM服务的影响。通过分析212个Malla，发现了八种后端LLM及182个绕过公共LLM API保护措施的提示，进一步揭示了Malla的策略，包括对未审查LLM的滥用及通过越狱提示利用公共LLM API。我们的研究为理解网络犯罪分子如何利用LLM提供了新视角，并为应对这一网络犯罪提供了策略建议。

🔬 方法详解

问题定义：本文旨在解决对大型语言模型在恶意服务中利用的理解不足，现有方法未能全面揭示其影响和技术手段。

核心思路：通过系统性分析真实世界的Malla，揭示其生态系统及运作模式，提供对网络犯罪的深入理解。

技术框架：研究包括数据收集、Malla分类、后端LLM识别及提示分析等多个模块，形成完整的分析流程。

关键创新：首次系统性揭示了212个Malla的运作模式及其对公共LLM服务的影响，填补了该领域的研究空白。

关键设计：在数据收集过程中，采用了多种数据挖掘技术，确保了对Malla的全面分析，并识别出八种后端LLM及182个绕过提示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究揭示了212个Malla的运作模式，识别出八种后端LLM和182个绕过公共LLM API保护的提示，提供了对网络犯罪分子利用LLM的深入见解，为应对策略的制定提供了数据支持。

🎯 应用场景

该研究为网络安全领域提供了重要的理论基础，能够帮助安全专家识别和防范利用大型语言模型的恶意服务。未来，研究成果可应用于开发更有效的防护措施，提升公共LLM服务的安全性，减少网络犯罪的发生。

📄 摘要（原文）

The underground exploitation of large language models (LLMs) for malicious services (i.e., Malla) is witnessing an uptick, amplifying the cyber threat landscape and posing questions about the trustworthiness of LLM technologies. However, there has been little effort to understand this new cybercrime, in terms of its magnitude, impact, and techniques. In this paper, we conduct the first systematic study on 212 real-world Mallas, uncovering their proliferation in underground marketplaces and exposing their operational modalities. Our study discloses the Malla ecosystem, revealing its significant growth and impact on today's public LLM services. Through examining 212 Mallas, we uncovered eight backend LLMs used by Mallas, along with 182 prompts that circumvent the protective measures of public LLM APIs. We further demystify the tactics employed by Mallas, including the abuse of uncensored LLMs and the exploitation of public LLM APIs through jailbreak prompts. Our findings enable a better understanding of the real-world exploitation of LLMs by cybercriminals, offering insights into strategies to counteract this cybercrime.