Do Language Models Exhibit the Same Cognitive Biases in Problem Solving as Human Learners?

📄 arXiv: 2401.18070v2 📥 PDF

作者: Andreas Opedal, Alessandro Stolfo, Haruki Shirakami, Ying Jiao, Ryan Cotterell, Bernhard Schölkopf, Abulhair Saparov, Mrinmaya Sachan

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-01-31 (更新: 2024-06-17)

备注: Accepted at ICML 2024

💡 一句话要点

研究语言模型在解题中是否表现出与人类相同的认知偏差

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 认知偏差 问题解决 文本理解 解决方案规划 神经符号方法 教育技术

📋 核心要点

  1. 当前对大型语言模型的研究缺乏对其认知偏差的系统性分析，尤其是在解题过程中与儿童的比较。
  2. 本文提出了一种将问题解决过程分为三个步骤的方法，并为每个步骤设计了测试，以评估LLMs的表现。
  3. 实验结果显示，LLMs在文本理解和解决方案规划中展现出人类类似的偏差，但在最终执行步骤中未见此现象。

📝 摘要（中文）

随着对大型语言模型（LLMs）作为认知模型的兴趣日益增加，了解这些模型在多大程度上模拟人类认知特性变得至关重要。本文研究了LLMs在解决算术文字问题时的偏差，特别是与儿童已知的偏差进行比较。我们将问题解决过程分为文本理解、解决方案规划和解决方案执行三个步骤，并为每个步骤构建了测试，以探讨当前LLMs是否表现出与儿童相同的认知偏差。通过神经符号方法生成了一组新颖的文字问题，结果表明，LLMs在文本理解和解决方案规划步骤中表现出类似人类的偏差，但在执行步骤中则未表现出这种偏差。

🔬 方法详解

问题定义：本文旨在探讨大型语言模型在解决算术文字问题时是否表现出与儿童相似的认知偏差。现有方法未能系统分析LLMs在不同解题步骤中的表现。

核心思路：研究将问题解决过程分为文本理解、解决方案规划和解决方案执行三个步骤，设计相应测试以评估LLMs的偏差表现。通过神经符号方法生成新颖的文字问题，以便对模型进行细致的分析。

技术框架：整体架构包括三个主要模块：文本理解测试、解决方案规划测试和解决方案执行测试。每个模块通过特定的任务评估LLMs在相应步骤中的表现。

关键创新：最重要的创新在于通过神经符号方法生成具有控制特征的文字问题，从而能够细致地分析LLMs在不同解题步骤中的偏差表现。与现有方法相比，本文提供了更为系统和细致的评估框架。

关键设计：在实验中，设计了特定的参数设置和损失函数，以确保模型在每个步骤的表现能够被准确评估。网络结构方面，采用了标准的LLM架构，并结合了指令调优技术以增强模型的适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLMs在文本理解和解决方案规划步骤中表现出与人类相似的偏差，尤其是在指令调优后，偏差表现更为明显。然而，在解决方案执行步骤中，LLMs未表现出相同的偏差。这一发现为理解LLMs的认知特性提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能辅导系统和认知科学研究。通过理解LLMs的认知偏差，可以更好地设计教育工具，帮助学生在学习过程中克服类似的偏差，从而提高学习效果。未来，研究结果可能推动对语言模型的进一步优化，使其在教育和心理学领域的应用更加有效。

📄 摘要（原文）

There is increasing interest in employing large language models (LLMs) as cognitive models. For such purposes, it is central to understand which properties of human cognition are well-modeled by LLMs, and which are not. In this work, we study the biases of LLMs in relation to those known in children when solving arithmetic word problems. Surveying the learning science literature, we posit that the problem-solving process can be split into three distinct steps: text comprehension, solution planning and solution execution. We construct tests for each one in order to understand whether current LLMs display the same cognitive biases as children in these steps. We generate a novel set of word problems for each of these tests, using a neuro-symbolic approach that enables fine-grained control over the problem features. We find evidence that LLMs, with and without instruction-tuning, exhibit human-like biases in both the text-comprehension and the solution-planning steps of the solving process, but not in the final step, in which the arithmetic expressions are executed to obtain the answer.