Red-Teaming Large Language Models in Low-Resource African Languages: A Case Study of Yoruba and Nigerian Pidgin

📄 arXiv: 2610.39590v1 📥 PDF

作者: Paula Chikaodinaka Anyanwu, Valdini Douglace Lemofouet, Blessing Ngozi Uzor, Ifeoluwa Dorcas Awotunde, Danielle Blanche Kapsa, Tassallah Abdullahi, Clemencia Siro, Idris Abdulmumin, Seid Muhie Yimam, Shamsuddeen Hassan Muhammad

分类: cs.CL, cs.AI

发布日期: 2026-10-29

💡 一句话要点

评估低资源非洲语言中的大型语言模型安全性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 低资源语言 安全性评估 文化刻板印象 尼日利亚皮钦语 约鲁巴语 对抗性提示 机器学习

📋 核心要点

  1. 现有的大型语言模型在低资源语言中的安全性评估不足，尤其是非洲的约鲁巴语和尼日利亚皮钦语。
  2. 本研究通过使用400个对抗性提示，评估六种最先进的LLMs在低资源语言中的表现，揭示了其理解能力的不足。
  3. 实验结果表明，模型在尼日利亚语言中的攻击成功率普遍较高，尤其是在文化刻板印象和歧视方面的识别困难。

📝 摘要（中文）

随着大型语言模型（LLMs）在非洲的广泛应用，其在低资源语言中的安全性尚未得到充分测试，因为大多数红队工作集中在英语上。本研究评估了六种最先进的LLMs，使用400个明确的对抗性提示，涵盖约鲁巴语和尼日利亚皮钦语，分为四个伤害类别。结果显示，虽然一些模型在英语提示中拒绝率高达69%，但在约鲁巴语中却低至0%，这并非因为它们更安全，而是因为它们未能理解提示。大多数模型在尼日利亚语言中的攻击成功率有所上升，尤其是GPT-4o Mini在约鲁巴语中表现出显著的跨语言安全差异。尽管某些模型在非洲语言中经过明确训练，但其在英语中的攻击成功率却较高，显示出英语中心的安全对齐并不适用于尼日利亚语言，强调了进行语言特定安全评估的紧迫性。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在低资源非洲语言（如约鲁巴语和尼日利亚皮钦语）中的安全性评估问题。现有方法主要集中在英语，导致对其他语言的理解和安全性评估不足。

核心思路：通过设计400个明确的对抗性提示，评估六种主流LLMs在低资源语言中的表现，特别关注其对文化刻板印象和歧视的识别能力。

技术框架：研究采用了对抗性提示的分类方法，将其分为四个伤害类别，并由母语评审员对模型的响应进行评分，使用Cohen's $κ$评估可靠性。

关键创新：本研究的创新在于首次系统性地评估大型语言模型在低资源非洲语言中的安全性，揭示了英语中心的安全对齐无法转移到这些语言的本质差异。

关键设计：研究中使用的对抗性提示涵盖多种文化和社会背景，评分标准由母语者设定，以确保评估的准确性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，某些模型在约鲁巴语中的攻击成功率高达0.63，而在尼日利亚皮钦语中为0.50。尤其是文化刻板印象的识别难度较大，攻击成功率为0.44。这些结果强调了语言特定安全评估的重要性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和社交媒体内容审核等。通过对低资源语言的安全性评估，可以为未来的语言模型开发提供指导，确保其在多语言环境中的安全性和可靠性。

📄 摘要（原文）

As large language models (LLMs) become more widespread in Africa, their safety in low-resource languages remains largely untested since most red-teaming work focuses on English. This study evaluates six state-of-the-art LLMs using 400 explicit adversarial prompts in Yoruba and Nigerian Pidgin, categorised into four harm categories. The responses were scored by native-speaker annotators and reliability was assessed using Cohen's $κ$. While models that rejected up to 69% of English prompts rejected as few as 0% in Yoruba, this was not because they were safer, but because they failed to understand the prompts. Attack success rates increased for most models in the Nigerian languages, with GPT-4o Mini demonstrating the most significant cross-lingual safety discrepancy (+0.23 in Yoruba). When models did engage with adversarial prompts, many of the responses were harmful, with rates of harmful content reaching 0.63 in English and 0.50 in Nigerian Pidgin. The most difficult harm category to detect was cultural stereotypes and discrimination (ASR = 0.44 in Nigerian Pidgin). Comprehension in Yoruba was low across most models, and this directly suppressed apparent attack success without indicating actual safety. Gemini 2.0 Flash was the most consistent model across languages. Despite its explicit training in African languages, Aya 101 had the highest attack success rate in English (0.60) and one of the lowest Yoruba comprehension rates (0.28). These results demonstrate that English-centric safety alignment does not transfer to Nigerian languages, highlighting the urgent need for language-specific safety evaluations.