Reasoning as Pattern Matching: Shared Mechanisms in Human and LLM Everyday Reasoning

📄 arXiv: 2606.13607 📥 PDF

作者: Zach Studdiford, Gary Lupyan

分类: cs.AI

发布日期: 2026-06-12

💡 一句话要点

提出模式匹配推理机制以解决人类与LLM推理一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模式匹配 常识推理 大型语言模型 注意力机制 人类推理

📋 核心要点

  1. 现有研究认为LLM在推理中表现不佳，主要归因于其缺乏真正的推理能力，导致错误模式与人类不同。
  2. 本文通过评估人类和LLM的常识推理，提出二者在推理过程中可能使用相似的模式匹配机制。
  3. 实验结果显示，人类和LLM在推理错误上存在一致性，且特定的注意力头能够预测这些错误的发生。

📝 摘要（中文）

当大型语言模型（LLMs）在推理中未能泛化或出现随机错误时，通常被认为是它们并未真正进行推理，而是一种模式匹配。本文评估了人类参与者和25个LLM在日常情境下的常识推理能力，发现二者在错误模式上存在相似性。研究还识别出驱动LLM响应的注意力头，并发现这些头实现了一种模式匹配形式。结果表明，人类和LLM的日常因果推理更符合模式匹配而非抽象世界模型。

🔬 方法详解

问题定义：本文旨在探讨大型语言模型（LLMs）与人类在日常推理中的一致性，尤其是它们在常识推理中的错误模式。现有方法通常认为LLMs的推理能力不足，未能揭示其潜在的推理机制。

核心思路：研究通过对人类和LLM的推理能力进行比较，提出二者可能使用相似的模式匹配机制，而非传统的抽象世界模型。这样的设计旨在揭示推理错误的根源及其相似性。

技术框架：研究首先评估了25个LLM与人类参与者在多种日常情境下的推理表现，随后分析了影响LLM响应的注意力头，最后通过这些注意力头的行为来预测人类的推理错误。

关键创新：最重要的创新在于识别出特定的注意力头与推理错误之间的关系，表明这些头实现了一种模式匹配机制，与传统的推理模型有本质区别。

关键设计：研究中使用了多种日常情境的推理任务，关注特定的注意力头在推理过程中的作用，采用了定量分析方法来评估错误模式的相似性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，人类和LLM在常识推理中的错误模式存在显著一致性，特定注意力头的行为能够有效预测人类的推理错误。这一发现为理解推理机制提供了新的视角，推动了对LLM推理能力的深入研究。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能助手和教育技术等。通过理解人类与LLM的推理机制，可以改进模型设计，提高其在复杂推理任务中的表现，进而推动智能系统的实际应用和发展。

📄 摘要（原文）

When large language models (LLMs) fail to generalize or make haphazard errors in reasoning, it is often taken as evidence that LLMs are not truly reasoning, but rather performing a kind of pattern matching. The implication is that people's behavior does not exhibit the same types of failures because human reasoning uses principled and abstract world models. We evaluate human participants and 25 LLMs on their ability to engage in common-sense reasoning about a variety of everyday situations and observe similar patterns of errors in both people and models. We then identify the set of attention heads driving LLM responses and find that these heads implement a form of pattern-matching. These attention heads allow us to predict seemingly inexplicable reasoning errors in people caused by ostensibly irrelevant prompt details. Taken together, our results suggest that everyday causal reasoning in people and LLMs is more consistent with a form of pattern-matching than with abstract world models.