Scaling Behavior of Machine Translation with Large Language Models under Prompt Injection Attacks

📄 arXiv: 2403.09832v1 📥 PDF

作者: Zhifan Sun, Antonio Valerio Miceli-Barone

分类: cs.CL

发布日期: 2024-03-14

备注: 15 pages, 18 figures, First Workshop on the Scaling Behavior of Large Language Models (SCALE-LLM 2024)

💡 一句话要点

研究大型语言模型在机器翻译中的提示注入攻击行为

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 机器翻译 提示注入攻击 逆缩放现象 自然语言处理 安全性研究

📋 核心要点

  1. 现有的大型语言模型在机器翻译中表现优异，但其通用性使其易受提示注入攻击的影响，存在安全隐患。
  2. 本文通过引入新的基准数据集，研究不同规模的LLM在机器翻译任务中对提示注入攻击的响应，揭示了模型规模与攻击成功率之间的关系。
  3. 实验结果显示，在某些条件下，较大的模型在面对提示注入攻击时可能更易受到影响，验证了逆缩放现象的存在。

📝 摘要（中文）

大型语言模型（LLMs）因其在机器翻译等自然语言处理任务中的优越表现而受到广泛关注。然而，这些模型的通用性使其容易受到用户的提示注入攻击（PIAs），导致模型以未经授权且可能不安全的方式运行。本文研究了多种LLM在机器翻译任务中的提示注入攻击，重点分析了模型规模对攻击成功率的影响。我们引入了一个新的基准数据集，发现较大的模型在特定条件下可能更容易受到成功攻击，这一现象被称为逆缩放现象。至今为止，这是首次在多语言环境中研究LLM的非平凡缩放行为。

🔬 方法详解

问题定义：本文旨在研究大型语言模型在机器翻译任务中受到提示注入攻击的行为，现有方法未能充分考虑模型规模对攻击成功率的影响。

核心思路：通过引入新的基准数据集，分析不同规模的LLM在面对提示注入攻击时的表现，探索模型规模与攻击成功率之间的关系。

技术框架：研究采用多种LLM模型，针对多对语言进行实验，评估在不同提示注入条件下的攻击成功率，整体流程包括数据集构建、模型训练和攻击评估。

关键创新：首次在多语言环境中系统性研究LLM的缩放行为，揭示了较大模型在特定条件下的脆弱性，提出逆缩放现象的概念。

关键设计：实验中使用了多种语言对的提示注入样本，设计了针对不同模型规模的评估指标，确保了实验结果的可靠性和可比性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在多种语言对和提示注入条件下，较大的LLM模型在攻击成功率上表现出更高的脆弱性，验证了逆缩放现象的存在。这一发现为未来的模型设计和安全性提升提供了重要参考。

🎯 应用场景

该研究的潜在应用领域包括机器翻译、对话系统和其他自然语言处理任务。通过提高对提示注入攻击的理解，可以增强模型的安全性和鲁棒性，降低潜在的安全风险，推动更安全的人工智能应用发展。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly becoming the preferred foundation platforms for many Natural Language Processing tasks such as Machine Translation, owing to their quality often comparable to or better than task-specific models, and the simplicity of specifying the task through natural language instructions or in-context examples. Their generality, however, opens them up to subversion by end users who may embed into their requests instructions that cause the model to behave in unauthorized and possibly unsafe ways. In this work we study these Prompt Injection Attacks (PIAs) on multiple families of LLMs on a Machine Translation task, focusing on the effects of model size on the attack success rates. We introduce a new benchmark data set and we discover that on multiple language pairs and injected prompts written in English, larger models under certain conditions may become more susceptible to successful attacks, an instance of the Inverse Scaling phenomenon (McKenzie et al., 2023). To our knowledge, this is the first work to study non-trivial LLM scaling behaviour in a multi-lingual setting.