Real Computation or Merely Naming? A Pre-Registered Mechanism Audit of 25 Cognitive-Architecture Modules in an LLM-Based Agent System

📄 arXiv: 2610.41604v1 📥 PDF

作者: Peter Chen, Ni Zhang, Ying Xu, Siyuan Zhang

分类: cs.AI

发布日期: 2026-10-30

备注: 40 pages. Static audit of 25 cognitive-architecture modules (18 carry no computed value to any production output), pre-registered interventions on 11 modules, 61 frozen criteria (53 confirmed / 5 falsified), two repair controls (0.028 -> 1.000 task success; -52% error). Artifact: https://doi.org/10.5281/zenodo.23433900

💡 一句话要点

提出四问审计协议以验证LLM代理系统的认知模块机制

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 认知架构 大型语言模型 机制验证 静态审计 模块化设计 智能代理 实验验证

📋 核心要点

  1. 现有的LLM代理系统常常通过认知架构的术语进行宣传，但模块的命名并不代表其机制的实际存在，导致了认知机制的验证缺失。
  2. 本文提出了一种四问静态审计协议，通过对模块的调用链追踪和行号证据进行验证，填补了认知机制声称与实现之间的差距。
  3. 实验结果表明，18个模块未能产生有效输出，修复实验显著提高了任务成功率，验证了审计协议的有效性和可重复性。

📝 摘要（中文）

基于大型语言模型的代理系统日益以认知架构的术语进行市场营销，然而模块的命名并不一定意味着其机制的实际存在。本文提出了一种可转移的验证方法，针对25个认知机制模块进行了四问静态审计，验证了11个模块的可证伪预测，并在两个系统上进行了实验。结果显示，25个模块中有18个模块的计算值未能达到任何生产输出，提出了三种新的闲置连接形态。通过修复实验，规划者任务成功率从0.028提升至1.000，状态控制器错误减少52%。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLM）代理系统中认知模块声称与实际机制之间的验证问题。现有方法缺乏对模块功能的实证审计，导致许多声称的机制未得到验证。

核心思路：提出了一种四问静态审计协议，通过行号证据和调用链追踪来验证模块的实际计算过程，确保模块的命名与其功能相符。

技术框架：审计过程包括对25个认知机制模块的静态分析，预注册可证伪的预测，并在两个独立系统上执行干预实验，验证模块的功能实现。

关键创新：最重要的创新在于提出了五类失败分类法，帮助识别模块的闲置连接形态，明确模块名称与计算的独立性，为认知机制的验证提供了新的视角。

关键设计：在实验中，设置了61个冻结标准，针对12个干预进行了验证，确认了53个标准，部分裁定2个，5个被证伪，1个裁定模糊，确保了实验的严谨性和可重复性。

📊 实验亮点

实验结果显示，在25个模块中，有18个模块未能产生有效的计算输出，且通过修复实验，规划者任务的成功率从0.028提升至1.000，状态控制器的错误减少了52%。这些结果验证了提出的审计协议的有效性，并揭示了模块功能实现的不足。

🎯 应用场景

该研究的潜在应用领域包括人工智能系统的开发与评估，尤其是在认知架构和智能代理的设计中。通过提供有效的验证机制，可以提高系统的透明度和可靠性，推动智能系统在实际应用中的广泛采用。未来，该方法还可扩展至其他类型的机器学习模型和系统，促进更广泛的技术验证和信任建立。

📄 摘要（原文）

Agent systems built on local large language models are increasingly marketed through the vocabulary of cognitive architecture: modules named global workspace, theory of mind, causal reasoning, or active inference are listed as features, and the presence of the name is taken as the presence of the mechanism. We ask the prior question -- does the named computation actually happen -- and contribute a transferable verification method for the claim-implementation gap: a four-question static audit protocol with line-number evidence and call-chain tracing, demonstrated on two systems. We audit a system claiming 25 cognitive mechanisms, pre-register falsifiable predictions for 11 modules and execute the interventions, replicate the protocol on the IIT-phi core of a second, independent system with its own pre-committed falsification criteria, and run two repair experiments as positive controls. In 18 of 25 modules the computed value never reaches any production output; three idle-wiring shapes new to the dead-code and code-smell literatures emerge (connected-but-never-called, called-but-inert, called-but-content-blind). Of 61 frozen criteria across 12 interventions, 53 were confirmed, two partially adjudicated, five falsified, one adjudication-ambiguous. Repairs raised planner task success from 0.028 to 1.000 and cut state-controller error by 52%. Module names and module computations must be audited as independent claims; the protocol and the five-class failure taxonomy are reusable for the claim-implementation gap at two-system, case-level depth.