Relative Value Biases in Large Language Models

📄 arXiv: 2401.14530v1 📥 PDF

作者: William M. Hayes, Nicolas Yax, Stefano Palminteri

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-01-25

💡 一句话要点

探讨大型语言模型中的相对价值偏见

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 相对价值偏见 大型语言模型 强化学习 决策行为 人机交互

📋 核心要点

  1. 现有研究表明，强化学习中的相对价值偏见在不同物种中普遍存在，但大型语言模型是否也存在这一现象尚不明确。
  2. 本研究通过让GPT-4 Turbo和Llama-2-70B在选择中进行相对比较，探讨其是否会表现出相对价值偏见，并分析其影响因素。
  3. 实验结果显示，两种模型均表现出相对价值偏见，且通过不同的提示方式可以显著影响这一偏见的强度。

📝 摘要（中文）

人类和动物的强化学习研究表明，个体倾向于选择过去相对更优的选项，即使这些选项的绝对奖励较低。本研究测试了大型语言模型是否表现出类似的偏见。我们使用GPT-4 Turbo和Llama-2-70B进行实验，模型在选择目标最大化收益的选项时，显示出与人类和动物相似的相对价值决策偏见。明确的相对比较增强了这种偏见，而促使模型估计预期结果则使偏见消失。这些结果对理解人类代理的上下文依赖选择机制具有重要意义。

🔬 方法详解

问题定义：本研究旨在探讨大型语言模型在决策过程中是否存在相对价值偏见，现有方法未能充分揭示这一现象的存在及其影响因素。

核心思路：通过设计实验，让模型在选择中进行相对比较，观察其决策偏见的表现，并分析不同提示对偏见的影响。

技术框架：实验包括两个主要阶段：首先，模型在给定历史结果的情况下进行选择；其次，通过不同的提示方式（相对比较与预期估计）来观察偏见的变化。

关键创新：本研究首次系统性地测试了大型语言模型的相对价值偏见，揭示了其与人类和动物决策行为的相似性，填补了相关领域的研究空白。

关键设计：实验中，模型的输入包括完整的历史结果记录，选择过程采用了标准化的提示格式，以确保结果的可比性和可靠性。

📊 实验亮点

实验结果表明，GPT-4 Turbo和Llama-2-70B均表现出明显的相对价值偏见，尤其是在明确的相对比较提示下，偏见的强度显著增强。通过预期结果的提示，偏见则显著减弱，这一发现为理解模型决策提供了新的思路。

🎯 应用场景

该研究为理解大型语言模型在决策过程中的行为提供了新的视角，潜在应用包括改进模型在推荐系统、游戏AI和人机交互中的表现，增强其决策的合理性和有效性。

📄 摘要（原文）

Studies of reinforcement learning in humans and animals have demonstrated a preference for options that yielded relatively better outcomes in the past, even when those options are associated with lower absolute reward. The present study tested whether large language models would exhibit a similar bias. We had gpt-4-1106-preview (GPT-4 Turbo) and Llama-2-70B make repeated choices between pairs of options with the goal of maximizing payoffs. A complete record of previous outcomes was included in each prompt. Both models exhibited relative value decision biases similar to those observed in humans and animals. Making relative comparisons among outcomes more explicit magnified the bias, whereas prompting the models to estimate expected outcomes caused the bias to disappear. These results have implications for the potential mechanisms that contribute to context-dependent choice in human agents.