TuBA: Cross-Lingual Transferability of Backdoor Attacks in LLMs with Instruction Tuning

📄 arXiv: 2404.19597v3 📥 PDF

作者: Xuanli He, Jun Wang, Qiongkai Xu, Pasquale Minervini, Pontus Stenetorp, Benjamin I. P. Rubinstein, Trevor Cohn

分类: cs.CL, cs.CR

发布日期: 2024-04-30 (更新: 2025-03-17)

备注: work in progress

💡 一句话要点

提出跨语言后门攻击方法以解决多语言LLM安全问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 后门攻击 多语言模型 跨语言转移 指令调优 安全性评估 自然语言处理 模型鲁棒性

📋 核心要点

  1. 现有研究主要集中在英语LLMs的后门攻击，缺乏对多语言模型的深入分析，导致安全隐患未被充分认识。
  2. 本文提出了一种跨语言后门攻击方法，通过污染特定语言的指令调优数据，影响其他未污染语言的输出。
  3. 实验结果显示，该方法在多种语言模型中具有高达99%的攻击成功率，且在防御措施下依然有效，表明其强大的转移性和鲁棒性。

📝 摘要（中文）

针对以英语为中心的大型语言模型（LLMs）进行的后门攻击已被广泛研究，然而对多语言LLMs的影响仍然缺乏深入探讨。本文研究了跨语言后门攻击，特别是通过对一种或两种语言的指令调优数据进行污染，如何影响未被污染语言的输出。实证分析表明，该方法在mT5和GPT-4o等模型中表现出显著的有效性，攻击成功率在12种语言中超过90%。此外，研究发现更强大的模型对可转移的跨语言后门攻击更为敏感，尤其是以英语数据为主的LLMs，如Llama2和Llama3。实验结果显示，该攻击在26种语言的跨语言响应场景中平均成功率达到99%，并且即使在防御措施下仍然有效，揭示了多语言LLMs的安全漏洞，强调了针对跨语言后门转移的防御策略的迫切需求。

🔬 方法详解

问题定义：本文旨在解决多语言LLMs中后门攻击的影响尚未被充分探讨的问题，现有方法主要集中于英语模型，缺乏对跨语言攻击的研究。

核心思路：通过对一种或两种语言的指令调优数据进行污染，研究其对其他语言输出的影响，揭示跨语言后门攻击的有效性。

技术框架：整体架构包括数据污染、模型训练和攻击评估三个主要模块。首先对特定语言的指令调优数据进行污染，然后训练模型，最后评估模型在未污染语言上的输出。

关键创新：本研究的创新点在于首次系统性地分析了跨语言后门攻击的可转移性，揭示了多语言模型在面对特定语言数据污染时的脆弱性。

关键设计：在实验中，采用了多种语言的指令调优数据，设置了不同的攻击场景，并使用了标准的损失函数和网络结构，确保了实验的可重复性和结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的跨语言后门攻击在26种语言的响应场景中平均攻击成功率达到99%，在多种模型中表现优异，尤其是在mT5和GPT-4o中，成功率超过90%。即使在应用防御措施后，攻击依然有效，显示出该方法的鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括多语言自然语言处理系统的安全性评估和防护策略的设计。随着多语言LLMs的广泛应用，理解其安全漏洞将对保护用户数据和防止恶意攻击具有重要价值，未来可能推动更安全的多语言AI系统的开发。

📄 摘要（原文）

The implications of backdoor attacks on English-centric large language models (LLMs) have been widely examined - such attacks can be achieved by embedding malicious behaviors during training and activated under specific conditions that trigger malicious outputs. Despite the increasing support for multilingual capabilities in open-source and proprietary LLMs, the impact of backdoor attacks on these systems remains largely under-explored. Our research focuses on cross-lingual backdoor attacks against multilingual LLMs, particularly investigating how poisoning the instruction-tuning data for one or two languages can affect the outputs for languages whose instruction-tuning data were not poisoned. Despite its simplicity, our empirical analysis reveals that our method exhibits remarkable efficacy in models like mT5 and GPT-4o, with high attack success rates, surpassing 90% in more than 7 out of 12 languages across various scenarios. Our findings also indicate that more powerful models show increased susceptibility to transferable cross-lingual backdoor attacks, which also applies to LLMs predominantly pre-trained on English data, such as Llama2, Llama3, and Gemma. Moreover, our experiments demonstrate 1) High Transferability: the backdoor mechanism operates successfully in cross-lingual response scenarios across 26 languages, achieving an average attack success rate of 99%, and 2) Robustness: the proposed attack remains effective even after defenses are applied. These findings expose critical security vulnerabilities in multilingual LLMs and highlight the urgent need for more robust, targeted defense strategies to address the unique challenges posed by cross-lingual backdoor transfer.