Influence of Solution Efficiency and Valence of Instruction on Additive and Subtractive Solution Strategies in Humans and GPT-4

📄 arXiv: 2404.16692v3 📥 PDF

作者: Lydia Uhler, Verena Jordan, Jürgen Buder, Markus Huff, Frank Papenmeier

分类: cs.CL, cs.AI

发布日期: 2024-04-25 (更新: 2024-11-16)

备注: 29 pages, 4 figures, 2 tables. Commun Psychol (2026)

DOI: 10.1038/s44271-026-00403-0

💡 一句话要点

比较人类与GPT-4在问题解决中的加法与减法策略

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生成型人工智能 大型语言模型 问题解决 策略选择 人机交互

📋 核心要点

  1. 现有研究显示人类在问题解决中存在加法偏见，但对GPT-4的行为尚缺乏深入比较，尤其是在不同任务效率和情感效价下的表现。
  2. 本研究通过四个预注册实验，比较人类与GPT-4在空间和语言任务中的表现，探讨解决效率和任务指令情感效价对策略选择的影响。
  3. 实验结果表明，GPT-4在加法策略上表现出更强的偏见，而人类在减法更有效时更倾向于使用减法，揭示了LLMs与人类在策略选择上的显著差异。

📝 摘要（中文）

生成型人工智能，尤其是大型语言模型（LLMs），在决策过程中扮演着越来越重要的角色，因此需要对其能力进行透明化。本研究通过比较人类与GPT-4在空间和语言任务中的问题解决，探讨了解决效率和任务指令的情感效价对加法和减法策略的影响。研究发现，GPT-4在加法转化上表现出比人类更强的倾向，而人类在减法相对更有效时更倾向于使用减法策略。GPT-4在被指示“改善”时更倾向于使用加法策略，这表明LLMs在问题解决中的偏见可能比人类更为明显，提示在实际应用中需谨慎使用这些模型。

🔬 方法详解

问题定义：本研究旨在探讨人类与GPT-4在问题解决中的策略选择，尤其是加法与减法策略的使用情况。现有研究主要集中在人类的加法偏见上，缺乏对GPT-4在不同情境下的比较分析。

核心思路：通过设计四个预注册实验，比较人类与GPT-4在不同任务效率和情感效价下的表现，分析其策略选择的差异，揭示LLMs在问题解决中的潜在偏见。

技术框架：研究包含两个主要模块：一是人类参与者的实验设计，二是GPT-4的任务执行。实验通过不同的任务指令和效率条件，观察参与者的策略选择。

关键创新：本研究的创新之处在于首次系统比较了人类与GPT-4在问题解决中的策略选择，揭示了LLMs在策略使用上的偏见与人类的显著差异。

关键设计：实验中设置了不同的任务指令（如“改善”和“编辑”）以及效率条件，分析参与者在不同情境下的策略选择，确保实验的严谨性和可重复性。

📊 实验亮点

实验结果显示，GPT-4在加法策略上的使用显著高于人类，尤其是在减法更有效的情况下，表现出强烈的加法偏见。此外，当任务指令为“改善”时，GPT-4的加法策略使用率显著提高，这一发现强调了LLMs在策略选择上的独特行为模式。

🎯 应用场景

该研究的结果对理解LLMs在实际应用中的局限性具有重要意义，尤其是在决策支持系统、教育技术和人机交互等领域。通过识别和理解这些模型的偏见，可以更好地设计和优化基于AI的应用，确保其在复杂决策中的可靠性和有效性。

📄 摘要（原文）

Generative artificial intelligences, particularly large language models (LLMs), play an increasingly prominent role in human decision-making contexts, necessitating transparency about their capabilities. While prior studies have shown addition biases in humans (Adams et al., 2021) and OpenAI's GPT-3 (Winter et al., 2023), this study extends the research by comparing human and GPT-4 problem-solving across both spatial and linguistic tasks, with variations in solution efficiency and valence of task instruction. Four preregistered experiments with 588 participants from the U.S. and 680 GPT-4 iterations revealed a stronger tendency towards additive transformations in GPT-4 than in humans. Human participants were less likely to use additive strategies when subtraction was relatively more efficient than when addition and subtraction were equally efficient. GPT-4 exhibited the opposite behavior, with a strong addition bias when subtraction was more efficient. In terms of valence of task instruction, GPT-4's use of additive strategies increased when instructed to "improve" (positive) rather than "edit" (neutral). These findings demonstrate that biases in human problem-solving are amplified in GPT-4, and that LLM behavior differs from human efficiency-based strategies. This highlights the limitations of LLMs and the need for caution when using them in real-world applications.