Do LLMs exhibit human-like response biases? A case study in survey design

📄 arXiv: 2311.04076v5 📥 PDF

作者: Lindia Tjuatja, Valerie Chen, Sherry Tongshuang Wu, Ameet Talwalkar, Graham Neubig

分类: cs.CL

发布日期: 2023-11-07 (更新: 2024-02-06)

🔗 代码/项目: GITHUB

💡 一句话要点

探讨大型语言模型在调查设计中的人类响应偏差

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 人类响应偏差 调查设计 社会心理学 强化学习微调 模型评估 数据集构建

📋 核心要点

  1. 现有的LLMs在主观任务中表现出对提示措辞的敏感性，这限制了它们作为人类代理的有效性。
  2. 本文设计了一个数据集和评估框架，以评估LLMs在调查问卷中是否表现出人类响应偏差。
  3. 实验结果显示，流行的LLMs未能反映人类行为，尤其是在经过RLHF的模型中，对扰动的敏感性更高。

📝 摘要（中文）

随着大型语言模型（LLMs）能力的提升，使用LLMs作为人类代理的可能性引发了广泛关注，尤其是在需要主观标签的任务中，如调查和舆论调查。然而，现有研究表明，LLMs对提示措辞的敏感性是其作为人类代理的主要障碍之一。本文探讨LLMs是否反映人类响应偏差，特别是在调查问卷设计中。通过设计数据集和评估框架，我们对九种模型进行了全面评估，发现流行的开源和商业LLMs通常未能表现出人类般的行为，尤其是在经过强化学习微调（RLHF）的模型中。这些结果强调了使用LLMs作为人类代理的潜在陷阱，并突显了对模型行为进行更细致表征的必要性。

🔬 方法详解

问题定义：本文旨在探讨大型语言模型在调查设计中是否展现出人类响应偏差。现有方法在评估LLMs作为人类代理时，未能充分考虑其对提示措辞变化的敏感性。

核心思路：通过借鉴社会心理学文献中对人类响应偏差的研究，设计数据集和评估框架，以系统性地评估LLMs的行为。

技术框架：研究包括数据集构建、模型选择、实验设计和结果分析四个主要模块。首先，构建包含不同措辞的调查问卷数据集；其次，选择九种不同的LLMs进行评估；然后，设计实验以比较模型与人类的响应；最后，分析结果并总结发现。

关键创新：本研究的创新点在于系统性地将人类响应偏差的概念应用于LLMs的评估，揭示了LLMs在响应偏差方面的不足，特别是在经过RLHF的模型中。

关键设计：在实验中，设置了多种不同的提示措辞，并使用标准化的评估指标来比较模型输出与人类响应的相似性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，流行的开源和商业LLMs在反映人类响应偏差方面表现不佳，尤其是在经过RLHF的模型中。尽管某些模型在方向上与人类一致，但对扰动的敏感性显著高于人类，强调了使用LLMs作为人类代理的风险。

🎯 应用场景

该研究的潜在应用领域包括市场调查、社会科学研究和人机交互设计等。通过深入理解LLMs的响应偏差，可以更好地利用这些模型进行数据收集和分析，从而提高调查结果的准确性和可靠性。未来，随着LLMs的不断发展，研究结果将为其在主观任务中的应用提供重要指导。

📄 摘要（原文）

As large language models (LLMs) become more capable, there is growing excitement about the possibility of using LLMs as proxies for humans in real-world tasks where subjective labels are desired, such as in surveys and opinion polling. One widely-cited barrier to the adoption of LLMs as proxies for humans in subjective tasks is their sensitivity to prompt wording - but interestingly, humans also display sensitivities to instruction changes in the form of response biases. We investigate the extent to which LLMs reflect human response biases, if at all. We look to survey design, where human response biases caused by changes in the wordings of "prompts" have been extensively explored in social psychology literature. Drawing from these works, we design a dataset and framework to evaluate whether LLMs exhibit human-like response biases in survey questionnaires. Our comprehensive evaluation of nine models shows that popular open and commercial LLMs generally fail to reflect human-like behavior, particularly in models that have undergone RLHF. Furthermore, even if a model shows a significant change in the same direction as humans, we find that they are sensitive to perturbations that do not elicit significant changes in humans. These results highlight the pitfalls of using LLMs as human proxies, and underscore the need for finer-grained characterizations of model behavior. Our code, dataset, and collected samples are available at https://github.com/lindiatjuatja/BiasMonkey