NormAd: A Framework for Measuring the Cultural Adaptability of Large Language Models

📄 arXiv: 2404.12464v10 📥 PDF

作者: Abhinav Rao, Akhila Yerukola, Vishwa Shah, Katharina Reinecke, Maarten Sap

分类: cs.CL

发布日期: 2024-04-18 (更新: 2025-07-08)

备注: Published at NAACL 2025, Albuquerque, New Mexico, USA

期刊: Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers) 2373-2403

DOI: 10.18653/v1/2025.naacl-long.120

💡 一句话要点

提出NormAd框架以评估大型语言模型的文化适应性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文化适应性 大型语言模型 社会可接受性 跨文化交流 评估框架 NormAd 机器学习

📋 核心要点

  1. 现有大型语言模型在全球文化背景下的适应性不足，难以准确判断社会可接受性。
  2. NormAd框架通过评估文化适应性，提供了一种新的方法来衡量LLMs在不同文化规范下的表现。
  3. 实验结果显示，LLMs在文化适应性方面表现不佳，尤其是在抽象价值观的判断上，准确率低于60%。

📝 摘要（中文）

为了有效且安全地部署大型语言模型（LLMs）到全球用户群体，这些模型需要不仅了解用户的价值观和文化，还需适应其输出。我们提出了NormAd，一个评估框架，用于衡量LLMs的文化适应性，特别是评估它们在不同文化规范特异性水平下判断社会可接受性的能力。作为框架的具体实现，我们创建了NormAd-Eti，这是一个包含2600个情境描述的基准，代表75个国家的社会礼仪相关文化规范。通过对NormAd-Eti的全面实验，我们发现LLMs在不同文化背景下准确判断社会可接受性方面存在困难，且对以英语为中心的文化的适应性强于全球南方国家。即使在提供相关社会规范的最简单设置中，最佳LLMs的表现（<82%）仍落后于人类（>95%）。在涉及抽象价值观和国家信息的设置中，模型表现显著下降（<60%），而人类准确率保持高位（>90%）。此外，我们发现模型在识别社会可接受与不可接受的情境方面表现更佳。我们的研究揭示了LLMs在社会文化推理中的当前不足，阻碍了其对全球受众的适应性。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在全球文化背景下的适应性问题，现有方法在判断社会可接受性方面存在显著不足，尤其是在不同文化规范的背景下。

核心思路：NormAd框架的核心思路是通过系统评估LLMs在不同文化背景下的表现，特别是其对社会规范的理解和适应能力，从而提升其全球适应性。

技术框架：NormAd框架包括多个模块，首先是文化规范的分类与定义，然后是基于这些规范的情境描述生成，最后通过评估模型在这些情境下的表现来进行适应性测量。

关键创新：NormAd的主要创新在于其系统性地评估LLMs的文化适应性，尤其是通过NormAd-Eti基准测试，填补了现有研究在文化适应性评估方面的空白。

关键设计：在NormAd-Eti基准中，设计了2600个情境描述，涵盖75个国家的社会礼仪规范，采用了多层次的评估标准，以确保模型在不同文化背景下的表现能够被准确测量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLMs在文化适应性方面表现不佳，尤其在抽象价值观和国家信息的情境下，准确率低于60%。相比之下，人类在相同情境下的准确率超过90%。此外，LLMs在识别社会可接受与不可接受情境方面表现相对较好，显示出一定的适应性。

🎯 应用场景

该研究的潜在应用领域包括跨文化交流、国际市场营销和全球用户体验设计等。通过提升大型语言模型的文化适应性，可以更好地满足不同文化背景用户的需求，增强用户的信任感和满意度，推动技术的全球化应用。未来，随着模型适应性的提升，可能会在多语言和多文化环境中实现更广泛的应用。

📄 摘要（原文）

To be effectively and safely deployed to global user populations, large language models (LLMs) may need to adapt outputs to user values and cultures, not just know about them. We introduce NormAd, an evaluation framework to assess LLMs' cultural adaptability, specifically measuring their ability to judge social acceptability across varying levels of cultural norm specificity, from abstract values to explicit social norms. As an instantiation of our framework, we create NormAd-Eti, a benchmark of 2.6k situational descriptions representing social-etiquette related cultural norms from 75 countries. Through comprehensive experiments on NormAd-Eti, we find that LLMs struggle to accurately judge social acceptability across these varying degrees of cultural contexts and show stronger adaptability to English-centric cultures over those from the Global South. Even in the simplest setting where the relevant social norms are provided, the best LLMs' performance (< 82\%) lags behind humans (> 95\%). In settings with abstract values and country information, model performance drops substantially (< 60\%), while human accuracy remains high (> 90\%). Furthermore, we find that models are better at recognizing socially acceptable versus unacceptable situations. Our findings showcase the current pitfalls in socio-cultural reasoning of LLMs which hinder their adaptability for global audiences.