Occupational Prompting Reveals Cultural Bias in Large Language Models

📄 arXiv: 2606.12443 📥 PDF

作者: Maksim E. Eren, Andrea Brennen, Ryan C. Barron, Eric Michalak

分类: cs.CY, cs.AI, cs.CL

发布日期: 2026-06-12

💡 一句话要点

通过职业提示揭示大型语言模型中的文化偏见

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文化偏见 职业提示 价值调查 社会角色

📋 核心要点

  1. 现有研究主要集中于国籍对大型语言模型（LLMs）响应的影响，缺乏对职业身份的深入分析。
  2. 本文提出用职业提示替代国籍提示，研究不同职业如何影响LLM的价值表达，提供新的评估框架。
  3. 实验结果显示，职业提示导致LLM的响应在文化地图上呈现出不同的职业偏向，揭示了潜在的文化偏见。

📝 摘要（中文）

社会角色塑造了期望、优先级和判断，但大型语言模型（LLMs）如何将职业身份与更广泛的文化价值模式关联仍不清楚。本文通过用职业提示替代文化提示，探讨专业角色线索如何影响开放权重LLM的价值调查响应。研究表明，职业提示并非中立角色标签，而是引发结构化的价值模式，扩展了基于调查的文化偏见评估框架。

🔬 方法详解

问题定义：本文旨在解决大型语言模型如何将职业身份与文化价值模式关联的问题。现有方法主要依赖国籍提示，未能充分探讨职业角色的影响。

核心思路：通过使用职业提示，研究不同职业对LLM响应的影响，揭示职业身份如何塑造价值表达。这种设计旨在扩展文化偏见的评估方法。

技术框架：研究采用基于调查的评估流程，使用来自综合价值调查的问题，分析LLM在不同职业提示下的响应，并将其投影到Inglehart-Welzel文化空间中。

关键创新：最重要的创新在于将职业提示引入文化偏见研究，发现职业提示并非中立，而是引发特定的价值模式。这与传统的国籍提示方法形成鲜明对比。

关键设计：研究中使用了开放权重的LLM，并选择了会计师、教师、工程师和护士等职业进行提示。通过对响应进行分析，识别出不同职业在文化地图上的位置和偏向。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，当使用职业提示时，开放权重LLM的响应仍然集中在一个广泛的西方倾斜区域，但不同职业的提示导致了该区域内的显著偏移。这表明职业提示对价值表达具有结构化影响，扩展了文化偏见的研究视角。

🎯 应用场景

该研究的潜在应用领域包括社会科学、人工智能伦理和人机交互等。通过理解职业身份对价值表达的影响，可以为设计更具文化敏感性的AI系统提供指导，促进多样性和包容性。未来，该研究可能影响AI模型的训练和评估标准。

📄 摘要（原文）

Social roles shape expectations, priorities, and judgments, yet it remains unclear how large language models (LLMs) associate occupational identities with broader cultural value patterns. Prior work used nationality-based cultural prompting to study how LLM responses to value-survey questions align with human cultural benchmarks. In this paper, we extend that framework by replacing cultural prompting with occupational prompting to examine how professional-role cues influence value-survey responses in open-weight LLMs. Using a survey-grounded evaluation pipeline based on questions from the Integrated Values Surveys, we project model responses into the two-dimensional Inglehart--Welzel cultural space. We prompt open-weight LLMs to answer questions under occupational identities such as accountant, teacher, engineer, and nurse, and then analyze how these occupation-conditioned responses are positioned on the cultural map. Our results show that when open-weight LLMs are prompted with occupations rather than national identities, their responses remain within a broadly Western-leaning region of the cultural map. However, different occupations introduce shifts within this region, producing distinct occupational skews. This indicates that occupational prompts are not treated as neutral role labels, but instead elicit structured value patterns. These findings extend survey-based evaluation of cultural bias beyond nationality-based prompting and provide a framework for studying how occupational personas shape value expression in LLMs.