Can Large Language Models Capture Public Opinion about Global Warming? An Empirical Assessment of Algorithmic Fidelity and Bias

📄 arXiv: 2311.00217v2 📥 PDF

作者: S. Lee, T. Q. Peng, M. H. Goldberg, S. A. Rosenthal, J. E. Kotcher, E. W. Maibach, A. Leiserowitz

分类: cs.AI, cs.CY

发布日期: 2023-11-01 (更新: 2024-02-08)

备注: 34 pages, 6 figures, 1 table

期刊: PLOS Climate, 3(2024), e0000429

DOI: 10.1371/journal.pclm.0000429

💡 一句话要点

评估大型语言模型在捕捉全球变暖公众意见中的算法忠实度与偏见

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 算法忠实度 全球变暖 公众意见 偏见评估 社会科学研究 调查模拟

📋 核心要点

  1. 现有方法在捕捉公众对全球变暖的看法时存在偏见，尤其是在缺乏相关协变量的情况下。
  2. 本研究通过条件化LLMs于人口统计和心理协变量，模拟调查响应，以提高算法忠实度。
  3. 实验结果显示，GPT-4在考虑多种协变量时表现更优，但在某些群体的观点估计上仍存在不足。

📝 摘要（中文）

大型语言模型（LLMs）在社会科学研究中展现了模仿人类感知和行为的潜力，称为算法忠实度。本研究通过利用两项全国性气候变化调查评估LLMs的算法忠实度和偏见。结果表明，LLMs能够有效捕捉总统投票行为，但在缺乏相关协变量时，难以准确反映全球变暖观点。GPT-4在同时考虑人口统计和心理协变量时表现更佳。然而，LLMs在某些群体的观点估计上存在差异，尤其是低估了黑人美国人对全球变暖的担忧。研究强调了在使用LLMs进行调查模拟时，条件设置、模型选择、调查问题格式和偏见评估的重要性。进一步的提示工程和算法审计研究是必要的，以充分利用LLMs的潜力，同时解决其固有的局限性。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在模拟公众对全球变暖意见时的算法忠实度和偏见问题。现有方法在缺乏适当条件设置时，难以准确反映不同群体的观点，尤其是对某些少数群体的担忧表现不足。

核心思路：论文提出通过条件化LLMs于人口统计和心理协变量，来提高模型在模拟调查响应时的准确性和可靠性。这种设计旨在更好地捕捉不同群体的意见差异。

技术框架：研究采用了两项全国性气候变化调查数据，构建了一个包含多个阶段的流程：数据收集、模型训练、条件化设置和结果分析。主要模块包括数据预处理、模型输入设计和结果评估。

关键创新：本研究的创新点在于系统性地评估LLMs在捕捉公众意见时的算法忠实度，特别是通过条件化设计来改善模型表现。这与传统方法相比，提供了更为细致的视角。

关键设计：在模型训练中，研究设置了多种参数，包括协变量的选择和模型的输入格式。损失函数设计上，强调了对不同群体观点的准确捕捉，以减少偏见。

📊 实验亮点

实验结果显示，GPT-4在考虑人口统计和心理协变量时，能够更准确地捕捉公众对全球变暖的看法。特别是在模拟总统投票行为方面表现良好，但在黑人美国人对全球变暖的担忧估计上存在显著低估。这一发现强调了条件化设置的重要性。

🎯 应用场景

该研究的潜在应用领域包括社会科学研究、公共政策制定和舆情分析。通过提高大型语言模型在捕捉公众意见方面的准确性，研究可以帮助政策制定者更好地理解公众对全球变暖的态度，从而制定更有效的应对策略。未来，随着模型技术的进步，LLMs在社会科学领域的应用将更加广泛。

📄 摘要（原文）

Large language models (LLMs) have demonstrated their potential in social science research by emulating human perceptions and behaviors, a concept referred to as algorithmic fidelity. This study assesses the algorithmic fidelity and bias of LLMs by utilizing two nationally representative climate change surveys. The LLMs were conditioned on demographics and/or psychological covariates to simulate survey responses. The findings indicate that LLMs can effectively capture presidential voting behaviors but encounter challenges in accurately representing global warming perspectives when relevant covariates are not included. GPT-4 exhibits improved performance when conditioned on both demographics and covariates. However, disparities emerge in LLM estimations of the views of certain groups, with LLMs tending to underestimate worry about global warming among Black Americans. While highlighting the potential of LLMs to aid social science research, these results underscore the importance of meticulous conditioning, model selection, survey question format, and bias assessment when employing LLMs for survey simulation. Further investigation into prompt engineering and algorithm auditing is essential to harness the power of LLMs while addressing their inherent limitations.