LLM Voting: Human Choices and AI Collective Decision Making
作者: Joshua C. Yang, Damian Dailisan, Marcin Korecki, Carina I. Hausladen, Dirk Helbing
分类: cs.CL, cs.AI, cs.CY, cs.LG, econ.GN
发布日期: 2024-01-31 (更新: 2024-08-14)
备注: Accepted in AAAI Conference on AI, Ethics, and Society (AIES)
💡 一句话要点
研究LLM投票行为以提升人机决策一致性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 投票行为 人机决策 偏见分析 可解释性 社会选择 民主过程
📋 核心要点
- 现有的LLM在投票场景中可能导致较少的多样性和偏见假设，影响决策质量。
- 论文通过对比人类投票实验与LLM投票实验，提出了通过角色设定来减少偏见的方法。
- 实验结果显示，改变投票方法和呈现顺序对LLM的投票结果有显著影响，且存在偏好多样性与对齐准确性的权衡。
📝 摘要（中文）
本论文探讨了大型语言模型（LLMs）如GPT-4和LLaMA-2的投票行为及其偏见，并分析其与人类投票模式的对齐情况。我们使用人类投票实验的数据集建立人类偏好的基线，并进行相应的LLM代理实验。结果表明，投票方法的选择和呈现顺序会影响LLM的投票结果。通过改变角色设定可以减少某些偏见并增强与人类选择的一致性。尽管链式思维方法未能提高预测准确性，但在投票过程中的AI可解释性方面具有潜力。我们还发现LLM的偏好多样性与对齐准确性之间存在权衡，受不同温度设置的影响。研究结果强调了在民主过程中谨慎整合LLM的必要性。
🔬 方法详解
问题定义：本论文旨在解决大型语言模型在投票场景中表现出的偏见和决策一致性不足的问题。现有方法未能有效处理LLM的投票结果多样性与准确性之间的权衡。
核心思路：论文提出通过调整LLM的角色设定和投票方法来减少偏见，并提高其与人类投票模式的对齐程度。这样的设计旨在探索不同因素对LLM投票行为的影响。
技术框架：研究首先建立人类投票的基线数据，然后设计相应的LLM投票实验，比较不同投票方法和角色设定对结果的影响。主要模块包括数据收集、实验设计、结果分析等。
关键创新：本研究的创新点在于通过角色设定的变化来调节LLM的投票偏见，这一方法在现有文献中尚未被充分探讨。与传统方法相比，强调了多样性与准确性之间的权衡。
关键设计：实验中设置了不同的温度参数以调节LLM的输出多样性，同时使用链式思维方法进行解释性分析，尽管未能提高准确性，但为未来的研究提供了新的思路。实验还考虑了投票方法的选择和呈现顺序对结果的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，改变投票方法和呈现顺序显著影响LLM的投票结果，且通过角色设定的调整可以减少偏见。尽管链式思维方法未提高预测准确性，但在AI可解释性方面展现出潜力。研究还揭示了偏好多样性与对齐准确性之间的权衡关系。
🎯 应用场景
该研究的潜在应用领域包括民主投票系统、AI辅助决策工具以及社会选择理论等。通过优化LLM的投票行为，可以提升人机协作的决策质量，促进更公平和透明的决策过程。未来，随着LLM技术的发展，其在社会治理和公共政策中的应用将更加广泛。
📄 摘要（原文）
This paper investigates the voting behaviors of Large Language Models (LLMs), specifically GPT-4 and LLaMA-2, their biases, and how they align with human voting patterns. Our methodology involved using a dataset from a human voting experiment to establish a baseline for human preferences and conducting a corresponding experiment with LLM agents. We observed that the choice of voting methods and the presentation order influenced LLM voting outcomes. We found that varying the persona can reduce some of these biases and enhance alignment with human choices. While the Chain-of-Thought approach did not improve prediction accuracy, it has potential for AI explainability in the voting process. We also identified a trade-off between preference diversity and alignment accuracy in LLMs, influenced by different temperature settings. Our findings indicate that LLMs may lead to less diverse collective outcomes and biased assumptions when used in voting scenarios, emphasizing the need for cautious integration of LLMs into democratic processes.