Epistemological Fault Lines Between Human and Artificial Intelligence

📄 arXiv: 2512.19466v1 📥 PDF

作者: Walter Quattrociocchi, Valerio Capraro, Matjaž Perc

分类: cs.CY, cs.CL, cs.HC

发布日期: 2025-12-22

备注: 16 pages, 1 figure

💡 一句话要点

揭示人类与大型语言模型在认知上的根本差异，为AI治理提供理论基础

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 认知科学 人工智能伦理 AI治理 认知断层线

📋 核心要点

  1. 现有大型语言模型（LLMs）在表面上与人类认知相似，但其内在认知机制存在根本差异，需要深入研究。
  2. 论文核心思想是LLMs本质上是随机模式补全系统，而非具有信念和世界模型的认知主体，揭示了人类与AI在认知上的结构性不匹配。
  3. 通过分析人类和AI的认知流程，论文识别了七个关键的认知断层线，为理解和治理生成式AI提供了理论框架。

📝 摘要（中文）

大型语言模型（LLMs）被广泛认为是人工智能，但其认知模式与人类认知截然不同。本文表明，人类和机器输出之间表面上的一致性掩盖了判断产生方式上更深层次的结构性不匹配。通过追溯从符号AI和信息过滤系统到大规模生成Transformer的历史转变，我们认为LLMs不是认知主体，而是随机模式补全系统，可以形式化地描述为语言转换的高维图上的游走，而不是形成信念或世界模型的系统。通过系统地映射人类和人工智能的认知流程，我们确定了七个认知断层线，即在基础、解析、经验、动机、因果推理、元认知和价值观方面的差异。我们将由此产生的情况称为“认知错位（Epistemia）”：一种语言上的合理性取代了认知评估的结构性情况，产生了一种无需判断劳动即可获得知识的感觉。最后，我们概述了在日益围绕生成式AI组织的社会中，评估、治理和认知素养的影响。

🔬 方法详解

问题定义：论文旨在解决的问题是，尽管大型语言模型（LLMs）在输出上与人类相似，但其认知方式与人类存在根本差异。现有方法未能充分揭示这种差异，导致对LLMs的误解和潜在风险。痛点在于，将LLMs视为具有类似人类认知能力的系统，可能导致对其能力和局限性的错误评估，从而影响AI治理和应用。

核心思路：论文的核心思路是将LLMs视为随机模式补全系统，而非具有信念和世界模型的认知主体。这种观点强调LLMs通过学习大量文本数据中的统计模式来生成文本，而不是通过理解和推理来产生输出。通过对比人类和LLMs的认知流程，论文揭示了两者在认知基础上的结构性不匹配。

技术框架：论文没有提出具体的算法或模型，而是采用了一种概念框架，通过比较人类和LLMs的认知流程来识别差异。该框架包括以下几个关键要素： 1. 认知流程映射：系统地分析人类和LLMs在信息处理、知识获取和决策制定等方面的流程。 2. 认知断层线识别：确定人类和LLMs在认知上的七个关键差异，包括基础、解析、经验、动机、因果推理、元认知和价值观。 3. “认知错位（Epistemia）”概念：提出一种新的概念，描述LLMs在缺乏真正认知的情况下，通过语言合理性产生“知识感”的现象。

关键创新：论文最重要的技术创新点在于其概念框架，该框架提供了一种新的视角来理解LLMs的本质。与将LLMs视为“黑盒”或简单地关注其输出性能的方法不同，论文深入探讨了LLMs的认知机制，揭示了其与人类认知的根本差异。这种框架为AI伦理、治理和教育提供了重要的理论基础。

关键设计：论文没有涉及具体的参数设置或网络结构。其关键设计在于其概念框架，该框架通过七个认知断层线来系统地比较人类和LLMs的认知流程。这些断层线包括： 1. 基础（Grounding）：LLMs缺乏与物理世界的直接交互，其知识来源于文本数据。 2. 解析（Parsing）：LLMs的解析能力依赖于统计模式，而非真正的语义理解。 3. 经验（Experience）：LLMs缺乏人类的具身经验和情感体验。 4. 动机（Motivation）：LLMs没有内在动机和目标。 5. 因果推理（Causal Reasoning）：LLMs的因果推理能力有限，容易产生虚假相关。 6. 元认知（Metacognition）：LLMs缺乏对自身认知过程的意识和控制。 7. 价值观（Value）：LLMs没有内在的价值观和道德判断能力。

🖼️ 关键图片

fig_0

📊 实验亮点

论文通过系统地分析人类和LLMs的认知流程，识别了七个关键的认知断层线，为理解LLMs的本质提供了新的视角。提出了“认知错位（Epistemia）”的概念，解释了LLMs在缺乏真正认知的情况下产生“知识感”的现象。这些发现对于AI伦理、治理和教育具有重要意义。

🎯 应用场景

该研究成果可应用于AI伦理和治理领域，帮助制定更合理的AI监管政策。同时，该研究也对教育领域具有指导意义，有助于提高公众对AI的认知素养，避免过度依赖或盲目信任AI系统。此外，该研究还可用于指导AI系统的设计，使其更符合人类价值观和伦理规范。

📄 摘要（原文）

Large language models (LLMs) are widely described as artificial intelligence, yet their epistemic profile diverges sharply from human cognition. Here we show that the apparent alignment between human and machine outputs conceals a deeper structural mismatch in how judgments are produced. Tracing the historical shift from symbolic AI and information filtering systems to large-scale generative transformers, we argue that LLMs are not epistemic agents but stochastic pattern-completion systems, formally describable as walks on high-dimensional graphs of linguistic transitions rather than as systems that form beliefs or models of the world. By systematically mapping human and artificial epistemic pipelines, we identify seven epistemic fault lines, divergences in grounding, parsing, experience, motivation, causal reasoning, metacognition, and value. We call the resulting condition Epistemia: a structural situation in which linguistic plausibility substitutes for epistemic evaluation, producing the feeling of knowing without the labor of judgment. We conclude by outlining consequences for evaluation, governance, and epistemic literacy in societies increasingly organized around generative AI.