Uncovering Why LLMs Fail: From Internal Mechanisms to Adversarial Reasoning Trajectories

📄 arXiv: 2610.37369v1 📥 PDF

作者: Zirui Ding, Xinxin Fan, Hao Yuan, Shaoye Luo, Men Niu, Yunfeng Lu

分类: cs.AI

发布日期: 2026-10-27

💡 一句话要点

提出CauTrace框架以揭示大型语言模型失败的根本原因

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理过程 失败分析 白盒诊断 功能状态 表示传播 时间状态协调 安全性研究

📋 核心要点

  1. 现有评估方法主要关注最终输出的正确性，未能深入分析推理过程中的失败机制。
  2. 本文提出CauTrace框架，通过定义七种功能状态和分析表示传播，揭示LLM失败的内在原因。
  3. 实验结果表明，CauTrace能够有效识别不同模型在推理过程中的失败轨迹，提供一致的操作信号。

📝 摘要（中文）

大型语言模型（LLMs）通常通过最终输出的正确性或安全性进行评估，但这些终点标签并未揭示失败在推理过程中的发展。因此，本文提出了一种白盒诊断框架CauTrace，旨在通过功能状态、表示传播、时间状态协调和推理轨迹等三个基本检查来揭示LLM失败的根本原因。研究发现，失败的轨迹在支持状态更新和验证活动上表现出较弱的注意力-多层感知器一致性，且不同架构的表示级别特征和时序变化各异。CauTrace为分析失败动态提供了统一的诊断框架，有助于深入研究LLM的安全性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在推理过程中失败的根本原因，现有方法未能揭示推理过程中的动态变化和失败机制。

核心思路：CauTrace框架通过分析功能状态、表示传播和时间状态协调，提供了一种系统化的方法来理解和诊断LLM的失败原因。

技术框架：CauTrace包括三个主要模块：功能状态定义、表示传播测量和时间状态协调分析，整体流程通过这些模块的交互来揭示推理轨迹。

关键创新：本文创新性地定义了七种功能状态，并通过白盒分析方法揭示了推理过程中的支持、承诺和验证之间的动态关系，与现有方法相比，提供了更深入的理解。

关键设计：在实验中，使用了特定的参数设置和损失函数来优化模型的表现，特别关注注意力机制与多层感知器之间的一致性。通过对比不同架构的表现，揭示了模型在推理过程中的特征差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CauTrace在Qwen和LLaMA系列模型上有效识别了失败轨迹，表现出较弱的注意力-多层感知器一致性和较少的验证活动。具体而言，模型在支持状态更新和承诺验证上的表现差异显著，验证了框架的有效性。

🎯 应用场景

CauTrace框架的潜在应用领域包括大型语言模型的安全性分析、故障诊断和优化。通过深入理解模型的推理过程，研究人员可以更有效地设计出更安全和可靠的LLM，推动自然语言处理技术的进步。

📄 摘要（原文）

Large language models (LLMs) are usually evaluated by final-output correctness or safety, yet an endpoint label does not reveal how a failure develops throughout the reasoning process. We therefore ask whether ordinary reasoning failures and adversarially induced failures can be characterized using the same internal coordinates. Towards this end, we in this paper study a white-box diagnostic framework CauTrace to disclose the root-cause of why LLM fails from three fundamental inspections: Functional States, Propagation of Representation, Temporal-State Coordination and Reasoning Trajectory. First, seven functional states are creatively defined to represent the support and constraint processing in LLMs. Second, the propagation of representation change measures how the changes among the seven states persist across subsequent Transformer blocks. Third, temporal-state coordination and trajectory topology characterize when the commitment and verification occur relative to the support, and how the dominant state sequence evolves over the full inference process. Finally, we evaluate CauTrace on both clean reasoning failures and paired adversarial perturbations. Across Qwen and LLaMA-family models, the failed traces show weaker Attention-MLP agreement on support-state updates and less verification activity relative to commitment, while the exact representation-level signatures and timing shifts vary by architecture. Held-out repair and steering tests demonstrate consistent operational signals that were in line with our claims for certain models and specific settings, with aligned steering producing the predicted directional changes in process measures. Overall, CauTrace provides a unified diagnostic framework for analyzing failure dynamics through changes in support, commitment, and verification, which would shed light on the in-depth research on LLM security.