Reasoning as Pattern Matching: Shared Mechanisms in Human and LLM Everyday Reasoning

📄 arXiv: 2606.13607v1 📥 PDF

作者: Zach Studdiford, Gary Lupyan

分类: cs.AI

发布日期: 2026-06-11

备注: 13 pages main text, 51 pages supplementary text

💡 一句话要点

提出模式匹配推理机制以解决人类与LLM推理一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推理机制 模式匹配 大型语言模型 常识推理 注意力机制 人机交互 心理学

📋 核心要点

  1. 现有研究认为LLM的推理错误源于模式匹配，而人类推理则基于抽象模型，缺乏实证支持。
  2. 本文通过评估人类与LLM在常识推理中的表现，提出两者在推理机制上存在相似性，强调模式匹配的重要性。
  3. 实验结果显示，人类和LLM在推理错误模式上高度一致，揭示了潜在的共同机制，挑战了传统观点。

📝 摘要（中文）

当大型语言模型（LLMs）在推理中未能泛化或出现随机错误时，通常被认为是它们并未真正进行推理，而是执行某种模式匹配。人类的行为则被认为不表现出相同类型的错误，因为人类推理使用的是原则性和抽象的世界模型。本文评估了人类参与者和25个LLM在日常情境下的常识推理能力，观察到人类与模型之间存在相似的错误模式。我们识别出驱动LLM响应的一组注意力头，发现这些头实现了一种模式匹配形式。这些注意力头使我们能够预测人类因表面无关的提示细节而导致的推理错误。综合来看，我们的结果表明，人类和LLM的日常因果推理更符合模式匹配的形式，而非抽象世界模型。

🔬 方法详解

问题定义：本文旨在探讨人类与大型语言模型（LLM）在日常推理中的一致性，尤其是推理错误的来源。现有方法往往将LLM的错误归因于缺乏真正的推理能力，忽视了可能的共同机制。

核心思路：通过对人类参与者和25个LLM的推理能力进行评估，本文提出二者在推理过程中可能使用相似的模式匹配机制，而非单纯依赖抽象的世界模型。

技术框架：研究首先对人类和LLM的推理表现进行比较，识别出影响推理的注意力头，分析其在推理错误中的作用。整体流程包括数据收集、模型评估和错误模式分析。

关键创新：本文的主要创新在于揭示了人类与LLM在推理机制上的相似性，特别是通过注意力头的模式匹配行为来解释推理错误，这一发现挑战了传统的推理模型观念。

关键设计：在实验中，设计了多种日常情境的推理任务，使用特定的提示细节来诱导错误，并通过分析注意力头的响应来识别模式匹配的机制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，人类与LLM在日常推理中的错误模式高度一致，尤其是在特定提示下的推理错误。通过分析注意力头，研究揭示了模式匹配在推理中的重要性，为理解推理机制提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括教育、心理学和人工智能系统的设计。通过理解人类与LLM的推理机制，可以改进教育方法，增强AI系统的推理能力，从而提升人机交互的有效性和可靠性。

📄 摘要（原文）

When large language models (LLMs) fail to generalize or make haphazard errors in reasoning, it is often taken as evidence that LLMs are not truly reasoning, but rather performing a kind of pattern matching. The implication is that people's behavior does not exhibit the same types of failures because human reasoning uses principled and abstract world models. We evaluate human participants and 25 LLMs on their ability to engage in common-sense reasoning about a variety of everyday situations and observe similar patterns of errors in both people and models. We then identify the set of attention heads driving LLM responses and find that these heads implement a form of pattern-matching. These attention heads allow us to predict seemingly inexplicable reasoning errors in people caused by ostensibly irrelevant prompt details. Taken together, our results suggest that everyday causal reasoning in people and LLMs is more consistent with a form of pattern-matching than with abstract world models.