Observable Patterns Are Not Explanations: A Causal-Geometric Analysis of Latent Reasoning Models
作者: Darpan Aswal, Thomas Palmeira Ferraz, Yongxin Zhou, Maxime Peyrard
分类: cs.CL
发布日期: 2026-06-12
💡 一句话要点
提出因果几何分析以揭示潜在推理模型的局限性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 潜在推理模型 因果推理 几何分析 模型可解释性 机器学习
📋 核心要点
- 现有的潜在推理模型在解释其内部推理机制时存在不足，尤其是对可观察模式的误解。
- 论文提出通过因果干预和几何分析的方法，重新审视潜在思维的作用，强调其作为隐藏计算的特性。
- 实验结果表明，潜在思维的利用是渐进的，且在低秩方向上具有更结构化的几何特征，挑战了传统的解释方法。
📝 摘要（中文）
潜在推理模型（LRMs）用连续思维替代显式的思维链。近期研究将可观察的潜在状态模式视为内部推理机制的证据。本文评估了两种LRMs（Coconut和CODI），发现这些模式在缺乏所提议的递归或课程的对照组中也出现，并不总是因果影响行为。因果干预显示潜在思维的利用是渐进的，而非二元的，且随着思维对模型行为的因果影响而变化。几何分析表明，这种影响集中在低秩方向上，随着行为影响的增加，其逐步几何结构变得更加有序。因此，潜在思维应被视为隐藏计算，而非隐藏解释：仅凭可解性、注意力或静态结构无法确立机制。LRM的可解释性因此需要匹配的对照组和因果测试。
🔬 方法详解
问题定义：本文旨在解决潜在推理模型（LRMs）在解释其内部推理机制时的局限性，尤其是对可观察模式的误解。现有方法未能充分考虑潜在思维的因果影响。
核心思路：论文的核心思路是通过因果干预和几何分析，揭示潜在思维的利用是一个渐进的过程，而非简单的二元选择。这种设计旨在更准确地理解潜在思维对模型行为的影响。
技术框架：整体架构包括对LRMs的评估与对照组的比较，采用因果干预方法来分析潜在思维的作用，并通过几何分析来探讨其结构特征。主要模块包括模型评估、因果干预和几何分析。
关键创新：最重要的技术创新在于将潜在思维视为隐藏计算而非隐藏解释，强调了因果干预的重要性。这一观点与现有方法的本质区别在于，后者往往依赖于可观察模式的直接解释。
关键设计：在实验中，采用了匹配的对照组和多种因果干预策略，确保了结果的可靠性。损失函数和网络结构的设计也经过精心调整，以便更好地捕捉潜在思维的因果影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，潜在思维的利用是渐进的，且在低秩方向上具有更结构化的几何特征。与对照组相比，Coconut和CODI模型在行为影响上的表现差异显著，强调了因果干预的重要性。
🎯 应用场景
该研究的潜在应用领域包括人工智能系统的可解释性、机器学习模型的设计与优化，以及复杂决策系统的分析。通过更深入地理解潜在推理模型的内部机制，可以提高模型的透明度和可靠性，推动智能系统在医疗、金融等领域的应用。
📄 摘要（原文）
Latent reasoning models (LRMs) replace explicit chain-of-thought with continuous thoughts. Recent work treats observable latent-state patterns, such as BFS-like frontiers and decodable arithmetic computation, as evidence for internal reasoning mechanisms. Evaluating two LRMs (Coconut and CODI) against controls lacking the proposed recurrence or curriculum, we find these patterns also appear in the controls and do not always causally affect behavior. Causal interventions reveal that latent-thought utilization is not binary but graded, scaling with a thought's causal effect on model behavior. Geometric analyses reveal this effect concentrates in low-rank directions whose step-to-step geometry grows more structured as their behavioral influence increases. Latent thoughts should therefore be treated as hidden computation, not hidden explanation: decodability, attention, or static structure alone cannot establish mechanism. LRM interpretability thus requires matched controls and causal tests.