Do Large Language Models Learn Human-Like Strategic Preferences?

📄 arXiv: 2404.08710v2 📥 PDF

作者: Jesse Roberts, Kyle Moore, Doug Fisher

分类: cs.GT, cs.AI

发布日期: 2024-04-11 (更新: 2024-10-02)

💡 一句话要点

评估大型语言模型在战略偏好判断中的人类相似性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 战略偏好 囚徒困境 旅行者困境 人类行为模拟 滑动窗口注意力 价值判断

📋 核心要点

  1. 现有方法在评估大型语言模型的战略偏好判断时缺乏与人类行为的直接比较，导致理解偏好形成机制的挑战。
  2. 论文提出了一种新方法，通过分析Solar和Mistral模型在囚徒困境和旅行者困境中的表现，探讨其偏好判断的稳定性和人类相似性。
  3. 实验结果显示，模型在偏好判断上与人类一致，且较大的模型展现出更稳定的价值偏好，验证了模型设计与人类行为之间的关系。

📝 摘要（中文）

本文评估了大型语言模型（LLMs）在战略场景中是否能够学习到类似人类的偏好判断，并与已知的实证结果进行比较。研究表明，Solar和Mistral模型展现出稳定的基于价值的偏好，与人类一致，并在囚徒困境和旅行者困境中表现出人类般的合作偏好（包括赌注大小效应和惩罚大小效应）。此外，本文建立了模型规模、基于价值的偏好和表面性的关系，并指出较不脆弱的模型依赖于滑动窗口注意力，暗示潜在的联系。最后，本文贡献了一种从任意LLM构建偏好关系的新方法，并支持了关于旅行者困境中人类行为的假设。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在战略场景中是否能够学习到人类相似的偏好判断的问题。现有方法未能有效比较模型与人类的偏好形成机制，限制了对模型行为的深入理解。

核心思路：论文通过实证分析Solar和Mistral模型在囚徒困境和旅行者困境中的表现，探讨其偏好判断的稳定性及与人类行为的相似性，提出了一种新方法来构建偏好关系。

技术框架：整体架构包括模型训练、偏好判断分析和结果验证三个主要模块。首先，训练模型以适应战略场景；其次，分析模型在不同情境下的偏好表现；最后，验证模型结果与人类行为的一致性。

关键创新：最重要的技术创新在于提出了一种新的方法来从任意大型语言模型中构建偏好关系，并揭示了模型规模与偏好稳定性之间的关系，这与现有方法的单一评估方式形成了鲜明对比。

关键设计：在模型训练中，采用了滑动窗口注意力机制，以提高模型在复杂情境下的表现。此外，设计了特定的损失函数以优化模型的价值判断能力，确保其在战略决策中能够更好地模拟人类行为。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Solar和Mistral模型在囚徒困境和旅行者困境中展现出与人类一致的合作偏好，特别是在赌注和惩罚大小效应方面。模型的偏好稳定性与其规模成正比，且采用滑动窗口注意力的模型表现出更低的脆弱性，验证了模型设计的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能决策系统、游戏理论分析和人机交互等。通过理解大型语言模型的偏好判断机制，可以提升模型在复杂决策场景中的表现，进而推动人工智能在社会科学和经济学中的应用，具有重要的实际价值和未来影响。

📄 摘要（原文）

In this paper, we evaluate whether LLMs learn to make human-like preference judgements in strategic scenarios as compared with known empirical results. Solar and Mistral are shown to exhibit stable value-based preference consistent with humans and exhibit human-like preference for cooperation in the prisoner's dilemma (including stake-size effect) and traveler's dilemma (including penalty-size effect). We establish a relationship between model size, value-based preference, and superficiality. Finally, results here show that models tending to be less brittle have relied on sliding window attention suggesting a potential link. Additionally, we contribute a novel method for constructing preference relations from arbitrary LLMs and support for a hypothesis regarding human behavior in the traveler's dilemma.