(Ir)rationality and Cognitive Biases in Large Language Models

📄 arXiv: 2402.09193v2 📥 PDF

作者: Olivia Macmillan-Scott, Mirco Musolesi

分类: cs.CL, cs.AI, cs.HC

发布日期: 2024-02-14 (更新: 2024-02-15)

期刊: Royal Society Open Science 11(6) 2024

DOI: 10.1098/rsos.240255

💡 一句话要点

评估大型语言模型的非理性与认知偏差

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 认知偏差 非理性推理 心理学任务 模型评估 人工智能伦理 人机交互

📋 核心要点

  1. 现有研究尚未明确大型语言模型是否具备理性推理能力，尤其是在认知偏差的表现上存在不确定性。
  2. 论文通过评估七种语言模型在认知心理学任务中的表现，探讨其非理性表现及与人类的差异。
  3. 实验结果显示，LLMs在任务中表现出非理性，且其回答的不一致性进一步揭示了模型的额外非理性层面。

📝 摘要（中文）

本文探讨大型语言模型（LLMs）是否展现出理性推理能力。研究表明，LLMs在认知心理学任务中表现出与人类相似的非理性，但其表现的方式与人类偏差存在显著差异。此外，LLMs在回答中的不一致性揭示了额外的非理性层面。论文还提出了一种方法论贡献，展示如何评估和比较这些模型在理性推理方面的不同能力。

🔬 方法详解

问题定义：本文旨在探讨大型语言模型在理性推理方面的表现，尤其是它们是否展现出人类的认知偏差。现有方法未能充分评估LLMs在此方面的能力，导致对其推理能力的理解不够全面。

核心思路：论文通过引入认知心理学中的任务，系统评估LLMs的非理性表现，比较其与人类的差异，旨在揭示LLMs在推理过程中的潜在缺陷。

技术框架：研究设计包括选择七种不同的语言模型，并利用认知心理学文献中的任务进行评估。每个模型的回答被记录并分析，以识别其非理性表现和不一致性。

关键创新：论文的创新在于系统性地将认知心理学的任务应用于LLMs的评估，揭示了它们在非理性表现上的独特性，与传统人类偏差的不同。

关键设计：在实验中，模型的选择、任务的设计和评估标准都经过精心设计，以确保结果的可靠性和有效性。具体参数设置和损失函数的选择也在论文中进行了详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLMs在认知心理学任务中表现出显著的非理性，且其错误回答的方式与人类偏差存在显著差异。此外，模型在回答中的不一致性揭示了额外的非理性层面，这为理解LLMs的推理能力提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、人工智能伦理和人机交互等。通过理解LLMs的非理性表现，研究者可以更好地设计和优化这些模型，提高其在实际应用中的可靠性和有效性。未来，这一研究可能对AI系统的决策过程和人类信任度产生深远影响。

📄 摘要（原文）

Do large language models (LLMs) display rational reasoning? LLMs have been shown to contain human biases due to the data they have been trained on; whether this is reflected in rational reasoning remains less clear. In this paper, we answer this question by evaluating seven language models using tasks from the cognitive psychology literature. We find that, like humans, LLMs display irrationality in these tasks. However, the way this irrationality is displayed does not reflect that shown by humans. When incorrect answers are given by LLMs to these tasks, they are often incorrect in ways that differ from human-like biases. On top of this, the LLMs reveal an additional layer of irrationality in the significant inconsistency of the responses. Aside from the experimental results, this paper seeks to make a methodological contribution by showing how we can assess and compare different capabilities of these types of models, in this case with respect to rational reasoning.