Sociodemographic Prompting is Not Yet an Effective Approach for Simulating Subjective Judgments with LLMs

📄 arXiv: 2311.09730v2 📥 PDF

作者: Huaman Sun, Jiaxin Pei, Minje Choi, David Jurgens

分类: cs.CL, cs.AI, cs.CY, cs.HC, cs.LG

发布日期: 2023-11-16 (更新: 2025-02-17)

🔗 代码/项目: GITHUB

💡 一句话要点

评估大语言模型在主观判断中的社会人口学偏差

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 主观判断 人口统计偏见 礼貌性 冒犯性 社会人口学提示 自然语言处理

📋 核心要点

  1. 现有大语言模型在模拟人类主观判断时，未能有效考虑性别和种族等人口统计因素，导致潜在的偏见。
  2. 论文通过评估九种流行的LLMs在礼貌性和冒犯性判断任务中的表现，探讨社会人口学提示的有效性。
  3. 实验结果显示，大多数模型在零样本设置下对不同种族的判断存在偏差，且社会人口学提示未能改善模型表现。

📝 摘要（中文）

人类的判断本质上是主观的，受到性别和种族等个人特征的影响。尽管大语言模型（LLMs）被广泛用于模拟人类在多种情境下的反应，但它们在主观任务中考虑人口统计差异的能力仍不确定。本研究利用POPQUORN数据集，评估九种流行的LLMs在理解两项主观判断任务（礼貌性和冒犯性）中的表现。结果显示，在零样本设置下，大多数模型在这两项任务中的预测更接近白人参与者的标签，而非亚裔或黑人参与者的标签。同时，在礼貌性任务中，仅出现轻微的性别偏见，倾向于女性。此外，社会人口学提示并未始终改善LLMs对特定子群体语言的感知，甚至在某些情况下导致表现下降。这些发现突显了LLMs在执行主观判断任务时可能存在的人口统计偏见，并强调了社会人口学提示作为实现多元对齐策略的局限性。

🔬 方法详解

问题定义：本研究旨在解决大语言模型在主观判断任务中对人口统计差异的理解不足，现有方法未能有效捕捉不同群体的主观反应，导致偏见。

核心思路：通过使用POPQUORN数据集，评估不同LLMs在礼貌性和冒犯性判断任务中的表现，探讨社会人口学提示的影响，旨在揭示模型的潜在偏见。

技术框架：研究首先收集和整理POPQUORN数据集，然后在零样本设置下对九种流行的LLMs进行评估，比较其对不同种族和性别参与者的判断一致性。

关键创新：本研究的创新在于系统性地评估了LLMs在主观判断任务中的人口统计偏见，并揭示了社会人口学提示的局限性，与现有研究相比，提供了更深入的分析。

关键设计：在实验中，采用了标准化的评估指标，确保模型输出与参与者标签的对比，重点关注模型在不同群体上的表现差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在零样本设置下，大多数模型在礼貌性和冒犯性判断任务中对白人参与者的标签预测更为一致，而对亚裔和黑人参与者的标签则表现较差。此外，社会人口学提示未能有效改善模型的判断能力，甚至在某些情况下导致性能下降。

🎯 应用场景

该研究的结果对自然语言处理和人工智能领域具有重要的应用价值，尤其是在设计更公平和无偏见的语言模型时。未来，研究者可以利用这些发现改进模型训练方法，确保其在多样化人群中的适用性，促进技术的社会责任感。

📄 摘要（原文）

Human judgments are inherently subjective and are actively affected by personal traits such as gender and ethnicity. While Large Language Models (LLMs) are widely used to simulate human responses across diverse contexts, their ability to account for demographic differences in subjective tasks remains uncertain. In this study, leveraging the POPQUORN dataset, we evaluate nine popular LLMs on their ability to understand demographic differences in two subjective judgment tasks: politeness and offensiveness. We find that in zero-shot settings, most models' predictions for both tasks align more closely with labels from White participants than those from Asian or Black participants, while only a minor gender bias favoring women appears in the politeness task. Furthermore, sociodemographic prompting does not consistently improve and, in some cases, worsens LLMs' ability to perceive language from specific sub-populations. These findings highlight potential demographic biases in LLMs when performing subjective judgment tasks and underscore the limitations of sociodemographic prompting as a strategy to achieve pluralistic alignment. Code and data are available at: https://github.com/Jiaxin-Pei/LLM-as-Subjective-Judge.