The Tell-Tale Trace: Detecting Reasoning Failures in LLMs Using Chain-of-Thought Dynamics

📄 arXiv: 2608.03291v1 📥 PDF

作者: Shashwat Sourav, Aishwarya Balwani

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-08-04

💡 一句话要点

利用链式思维动态检测大型语言模型推理失败

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 链式思维 推理失败 大型语言模型 布尔可满足性 推理动态 模型干预 准确率提升

📋 核心要点

  1. 现有方法主要评估单个步骤的语义正确性，未能有效捕捉推理过程中的分布式失败。
  2. 本文提出通过分析可见的链式思维动态，系统性地区分成功与失败的推理过程。
  3. 实验结果显示，针对性干预显著提升了Llama3-70B的准确率，从13.3%提高至85%，纠正了84.6%的错误。

📝 摘要（中文）

链式思维（CoT）推理提升了大型语言模型（LLM）的性能，并提供了可观察的推理过程接口。然而，现有方法主要关注单个中间步骤的语义正确性，而忽视了推理过程在整个轨迹上的演变。本文探讨了如何利用可见的CoT动态系统性地区分成功与失败的推理，而不假设语义的忠实性。通过对可验证的布尔可满足性任务进行研究，发现模型在SAT问题上存在提前验证崩溃的现象，而在UNSAT问题上则错误地朝向不正确的SAT结论。针对性干预后，Llama3-70B的准确率从13.3%提升至85%。这些结果表明，能力失败可以表现为可见推理结构的分布式、任务依赖性变化。

🔬 方法详解

问题定义：本文旨在解决现有方法在监测大型语言模型推理正确性时的不足，尤其是未能有效捕捉推理轨迹中的分布式失败现象。

核心思路：通过分析可见的链式思维（CoT）动态，论文提出了一种新的方法来区分成功与失败的推理，而不依赖于语义的忠实性。

技术框架：研究采用了对多种大型语言模型在可验证的布尔可满足性任务上的评估，重点分析CoT句子的推理功能，并观察其在SAT和UNSAT问题上的表现。

关键创新：最重要的创新在于识别推理过程中的早期验证崩溃现象，以及如何利用这些动态来诊断和纠正推理失败，这与现有方法的局限性形成鲜明对比。

关键设计：在实验中，采用了针对性的提示干预策略，以提升模型的推理准确性，特别是在布尔可满足性问题上，设计了特定的验证步骤和检查机制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，针对性提示干预显著提高了Llama3-70B的推理准确率，从13.3%提升至85%，并成功纠正了84.6%的推理错误。这一成果表明，链式思维动态分析在推理失败诊断中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和自动推理工具。通过改进推理过程的监测和纠正能力，可以提升模型在复杂任务中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Chain-of-thought (CoT) reasoning improves large language model (LLM) performance while also providing an observable interface to the model's reasoning process. Existing approaches that leverage verbalized CoTs to monitor reasoning correctness, however, largely evaluate the semantic correctness or consistency of individual intermediate steps, rather than how the reasoning process evolves across the trace. As a result, failures distributed across the reasoning trajectory, rather than those localized to a single incorrect step, remain comparatively underexplored. Furthermore, verbalized CoTs need not faithfully reflect the model's internal reasoning, motivating analyses that do not treat individual statements as literal accounts of internal computation. In this work, we therefore ask whether the dynamics of visible CoT can be leveraged to systematically distinguish successful from failed reasoning without assuming such semantic faithfulness. We study a range of LLMs on verifiable Boolean satisfiability tasks with variable complexity, enabling controlled comparisons near each model's capability frontier. Tagging CoT sentences by reasoning function reveals premature verification collapse on SAT problems: incorrect traces enter clause checking earlier, repeat similar operations, and finalize sooner. On UNSAT problems, models presumptuously move towards incorrect SAT conclusions, checking candidate assignments rather than deriving contradictions across constructed cases. Subsequently, a targeted proof-search prompt intervention raises Llama3-70B accuracy from 13.3% to 85%, correcting 84.6% of these errors. These results show that capability failures can manifest as distributed, task-dependent changes in the structure of visible reasoning, and that CoT dynamics agnostic to whether the verbalized trace reflects the model's internal computations can help diagnose and correct failures.