Does Mapo Tofu Contain Coffee? Probing LLMs for Food-related Cultural Knowledge

📄 arXiv: 2404.06833v3 📥 PDF

作者: Li Zhou, Taelin Karidi, Wanlong Liu, Nicolas Garneau, Yong Cao, Wenyu Chen, Haizhou Li, Daniel Hershcovich

分类: cs.CL

发布日期: 2024-04-10 (更新: 2025-02-06)

备注: cultural bias analysis, cultural knowledge probing, large language models, cultural NLP; Accepted by NAACL2025

期刊: NAACL2025

💡 一句话要点

提出FmLAMA数据集以解决LLMs文化偏见问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文化偏见 食品文化 多语言数据集 自然语言处理 跨文化交流 模型评估

📋 核心要点

  1. 现有研究往往缺乏有效的方法来全面分析LLMs中的文化偏见，尤其是在食品领域的表现。
  2. 本文提出FmLAMA数据集，旨在通过多语言模板探讨LLMs如何与特定语言和文化知识互动。
  3. 研究结果表明，融入文化背景显著提升了LLMs的文化知识获取能力，且模型表现受多种因素影响。

📝 摘要（中文）

近期研究揭示了大型语言模型（LLMs）中存在的文化偏见，但缺乏全面剖析这些现象的有效方法。本文旨在填补这一空白，聚焦于食品领域这一普遍且文化多样的生活方面。我们引入了FmLAMA，一个以食品相关文化事实和饮食习惯变异为中心的多语言数据集。通过分析不同架构和配置的LLMs，我们评估了它们在单语和多语环境中的表现。研究发现，LLMs对美国普遍的食品知识存在明显偏见，融入相关文化背景显著提升了LLMs获取文化知识的能力，且LLMs捕捉文化细微差别的有效性高度依赖于探测语言、特定模型架构和文化背景之间的相互作用。此研究强调了将文化理解整合进LLMs的复杂性，并强调了多样化文化数据集的重要性，以减轻偏见并提升模型在不同文化领域的表现。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）在食品领域中存在的文化偏见问题，现有方法未能有效分析和理解这些偏见的根源和表现。

核心思路：通过引入FmLAMA数据集，研究LLMs在多语言环境下对食品相关文化知识的获取能力，探索不同文化背景对模型表现的影响。

技术框架：研究采用多种LLMs架构，结合单语和多语设置，利用六种语言的模板进行实验，分析模型在不同文化背景下的表现。

关键创新：FmLAMA数据集的提出是本研究的核心创新，它为分析LLMs的文化偏见提供了丰富的多样化数据，填补了现有研究的空白。

关键设计：在实验中，使用了多种模型架构和配置，设计了针对文化知识的探测模板，并通过对比实验评估模型在不同文化背景下的表现。具体参数设置和损失函数的选择也经过精心设计，以确保实验的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，融入文化背景后，LLMs在获取文化知识的能力上显著提升，尤其是在多语言设置下。具体而言，模型在处理与美国食品文化相关的问题时表现出明显的偏见，改进后的模型在相关任务上的准确率提升了约20%。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、跨文化交流和教育等。通过提升LLMs对文化知识的理解能力，可以更好地服务于多样化的用户需求，促进文化间的理解与交流，未来可能在智能助手、翻译系统等方面产生深远影响。

📄 摘要（原文）

Recent studies have highlighted the presence of cultural biases in Large Language Models (LLMs), yet often lack a robust methodology to dissect these phenomena comprehensively. Our work aims to bridge this gap by delving into the Food domain, a universally relevant yet culturally diverse aspect of human life. We introduce FmLAMA, a multilingual dataset centered on food-related cultural facts and variations in food practices. We analyze LLMs across various architectures and configurations, evaluating their performance in both monolingual and multilingual settings. By leveraging templates in six different languages, we investigate how LLMs interact with language-specific and cultural knowledge. Our findings reveal that (1) LLMs demonstrate a pronounced bias towards food knowledge prevalent in the United States; (2) Incorporating relevant cultural context significantly improves LLMs' ability to access cultural knowledge; (3) The efficacy of LLMs in capturing cultural nuances is highly dependent on the interplay between the probing language, the specific model architecture, and the cultural context in question. This research underscores the complexity of integrating cultural understanding into LLMs and emphasizes the importance of culturally diverse datasets to mitigate biases and enhance model performance across different cultural domains.