LLMs Can Better Capture Human Judgments--With the Right Prompts

📄 arXiv: 2606.12754 📥 PDF

作者: Danica Dillion, Chen Cecilia Liu, Baihui Wang, Daniele Barolo, Tanmay Rajore, Niket Tandon, Pranathi Ravikumar, Kurt Gray

分类: cs.CL, cs.AI

发布日期: 2026-06-12

💡 一句话要点

提出简单提示策略以改善大型语言模型对人类判断的捕捉能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 人类判断 道德决策 提示策略 模型对齐 人机交互 社交机器人

📋 核心要点

  1. 现有大型语言模型在捕捉人类判断时存在局限，无法全面反映人类的响应分布，且对措辞变化的敏感性较低。
  2. 论文提出通过简单的提示策略来改善模型的表现，包括要求模型报告标准差和响应比例，以及确保场景的清晰性。
  3. 实验结果显示，采用这些策略后，模型在对齐人类判断方面有显著提升，尤其是在反映人类响应的多样性方面。

📝 摘要（中文）

大型语言模型（LLMs）在捕捉人类判断方面存在不足，主要体现在无法全面反映响应分布和对措辞变化的判断不稳定。本文展示了简单的提示策略来缓解这些问题。通过对两个数据集的分析，包括144个道德场景和38个道德信念，研究表明，提示模型报告标准差和响应比例能够更好地恢复人类响应的全范围。此外，确保场景对人类参与者清晰（通过人类困惑评分反映）也能提升模型的对齐度。尽管LLMs对自身错误的估计不够准确，但它们能够相对较好地预测人类的变异性。这些结果表明，向LLMs提出更好的问题可以获得更好的答案。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在捕捉人类判断时的不足，尤其是无法全面反映响应分布和对措辞变化的敏感性不足的问题。

核心思路：通过设计简单的提示策略，促使模型更好地理解和反映人类的判断，特别是通过报告标准差和响应比例来恢复人类响应的全范围。

技术框架：研究采用了两个数据集进行实验，分别是144个道德场景和38个道德信念。模型通过不同的提示策略进行训练和评估，重点关注人类困惑评分的影响。

关键创新：最重要的创新在于提出了通过简单的提示来改善模型的对齐能力，这与现有方法的复杂性形成鲜明对比，强调了问题的清晰性和响应的多样性。

关键设计：在实验中，模型被要求报告标准差和响应比例，同时对场景的清晰性进行评估，确保人类参与者能够理解，从而提升模型的判断准确性。实验还发现，模型对自身错误的估计存在不准确性，但能够较好地预测人类的变异性。

📊 实验亮点

实验结果表明，采用新的提示策略后，模型在捕捉人类判断的能力上有显著提升，尤其是在标准差和响应比例的报告方面，能够更好地反映人类的多样性和复杂性。这些改进使得模型的对齐度显著提高，展示了简单提示的有效性。

🎯 应用场景

该研究的潜在应用领域包括道德决策支持系统、社交机器人以及人机交互界面等。通过改善大型语言模型对人类判断的捕捉能力，可以提升这些系统的智能水平和用户体验，未来可能在伦理决策和社会科学研究中发挥重要作用。

📄 摘要（原文）

Are large language models (LLMs) bad at capturing human judgment? Two commonly stated limitations are that LLMs fail to capture full distributions of responses, and that their judgments are unstable across wording variations. We demonstrate simple prompting strategies that mitigate these limitations. Across two datasets--a U.S.-representative set of 144 moral scenarios and 38 moral beliefs from the International Social Survey Programme's Family and Changing Gender Roles module covering 32 countries--we show how simple elicitation techniques help improve AI-human alignment. First, prompting models to report standard deviations and response proportions recovers the full range of human responses better than common strategies. Second, ensuring scenarios are clear to human participants--as reflected in human confusion ratings--boosts model alignment, and LLMs can track human confusion ratings. At the same time, we find that LLMs' estimates of their own error are poorly calibrated, though they can predict human variability relatively well. These results suggest that asking better questions to LLMs can yield better answers.