P3B3: A Multi-Turn Conversational Benchmark for Measuring European and Brazilian Portuguese Variety Bias in LLMs

📄 arXiv: 2606.16753v1 📥 PDF

作者: Rafael Ferreira, Inês Vieira, Inês Calvo, James Furtado, Iago Paulo, Diogo Tavares, Diogo Glória-Silva, David Semedo, João Magalhães

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-06-15

备注: Accepted at MeLLM Workshop at ACL 2026

💡 一句话要点

提出P3B3基准以解决葡萄牙语变体偏见问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 对话系统 语言变体 偏见评估 多语言处理

📋 核心要点

  1. 现有的语言模型在处理葡萄牙语时，未能平衡地代表欧洲和巴西变体，导致偏见问题。
  2. 论文提出P3B3基准，旨在通过专家策划的对话提示来评估和测量语言变体的偏见。
  3. 实验结果显示，大多数LLMs对巴西变体存在显著偏见，且不同模型的可控性表现不一。

📝 摘要（中文）

随着大型语言模型（LLMs）在日常交流中的广泛应用，捕捉区域语言变异对于可靠和公平的语言使用至关重要。在葡萄牙语中，欧洲（pt-PT）和巴西（pt-BR）变体的表现不均，pt-BR在数据量上占主导地位，而LLMs对葡萄牙语变体的偏好尚未得到充分探讨。为了解决这一问题，我们提出了P3B3，一个专家策划的语言变体无关的对话提示基准，以及一个评估框架，用于测量变体偏见和可控性。对多个模型的实验表明，大多数LLMs对pt-BR表现出强烈的偏见，且模型间的可控性存在差异。这些结果突显了在语言变体中实现更平衡的多语言表示的必要性。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在处理葡萄牙语时对不同变体（欧洲和巴西）表现出的偏见问题。现有方法未能充分考虑区域语言变异，导致数据和模型的偏向性。

核心思路：论文的核心思路是构建一个语言变体无关的基准（P3B3），通过专家策划的对话提示来评估模型的变体偏见和可控性。这种设计旨在提供一个公平的评估框架，促进对不同语言变体的理解和使用。

技术框架：整体架构包括数据收集、基准设计和评估框架三个主要模块。首先，通过专家策划收集对话提示，然后设计评估指标，最后对多个LLMs进行测试和比较。

关键创新：P3B3基准的最大创新在于其语言变体无关性，能够系统性地测量和比较不同模型对葡萄牙语变体的偏见。这与现有方法的主要区别在于，后者通常只关注单一变体或缺乏系统评估。

关键设计：在设计过程中，采用了多样化的对话提示，确保覆盖不同的语言场景。同时，评估框架中引入了多种指标，以全面反映模型的表现和可控性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，大多数大型语言模型对巴西葡萄牙语（pt-BR）表现出强烈的偏见，偏向性程度显著，且不同模型的可控性存在明显差异。这一发现强调了在多语言环境中实现更平衡的语言变体表示的重要性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等。通过提供一个公平的评估基准，P3B3可以帮助开发者和研究人员更好地理解和改善语言模型在不同区域变体中的表现，从而推动多语言技术的公平性和可用性。

📄 摘要（原文）

As Large Language Models (LLMs) become embedded in everyday communication, capturing regional linguistic variation is essential for reliable and equitable language use. In Portuguese, European (pt-PT) and Brazilian (pt-BR) varieties remain unevenly represented, with pt-BR dominating in data quantity, while LLM preference for Portuguese variants remains underexplored. To address this gap, we introduce P3B3, an expert-curated language variety agnostic benchmark of conversational prompts, along with an evaluation framework for measuring variety bias and controllability. Experiments on several models show that most LLMs exhibit a strong bias toward pt-BR, with variation in controllability across models. These results highlight the need for more balanced multilingual representation across language varieties.