SCIT: Testing Causal Cache Carriers in Latent Chain-of-Thought Models

📄 arXiv: 2608.27265v1 📥 PDF

作者: Yi Ding, Lijun Huang, Menglin Yang

分类: cs.CL

发布日期: 2026-08-27

备注: accept by emnlp2026

💡 一句话要点

提出SCIT以解决潜在链式思维模型中的因果缓存问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 因果推理 潜在链式思维 反事实分析 缓存机制 自然语言处理 模型优化

📋 核心要点

  1. 现有的潜在链式思维模型在中间推理的表示上存在不足，导致因果关系不明确。
  2. 论文提出SCIT，通过构建反事实和修补缓存段，明确因果计算的来源和去向。
  3. 实验结果表明，反事实算术主要通过值缓存后缀轨迹传递，揭示了不同模型的因果机制差异。

📝 摘要（中文）

潜在链式思维模型将中间推理从文本中移入连续状态，虽然提高了紧凑性，但隐藏了因果对象。我们提出了SCIT，即后缀缓存互换测试，这是一种因果协议，构建精确的源-接收者反事实，修补声明的缓存段，并识别哪个变换器对象携带反事实计算。SCIT结合了充分性测试与K/V组件拆分、隐藏状态控制、语义源控制、解码验证和匹配腐败。在CODI-GPT2和Sim-CoT风格的GPT-2重现中，反事实算术主要通过值缓存后缀轨迹转移，而非隐藏状态、键、可重用答案槽或单标记触发。对于主要的CODI-GPT2检查点，后值后缀机制的充分性和必要性证据完整；Sim-CoT风格检查点显示相同的充分性和解码控制模式，但在必要性调用上缺乏匹配腐败证据。

🔬 方法详解

问题定义：论文旨在解决潜在链式思维模型中因果关系不明确的问题，现有方法在缓存管理和反事实推理上存在不足。

核心思路：SCIT通过构建精确的源-接收者反事实，结合多种测试方法，明确因果计算的路径和机制。

技术框架：SCIT的整体架构包括充分性测试、K/V组件拆分、隐藏状态控制等模块，形成一个综合的因果分析框架。

关键创新：SCIT的主要创新在于其因果协议的设计，能够精确识别反事实计算的来源，与传统方法相比，提供了更清晰的因果关系分析。

关键设计：在实验中，SCIT采用了特定的参数设置和损失函数，确保了反事实推理的准确性和有效性，同时对不同模型的缓存机制进行了深入分析。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，反事实算术主要通过值缓存后缀轨迹转移，CODI-GPT2检查点的充分性和必要性证据完整，而Sim-CoT风格检查点在必要性调用上存在不足，揭示了模型间的因果机制差异。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和推理模型的优化。通过明确因果关系，SCIT可以帮助提升模型的推理能力和解释性，对未来的AI系统设计具有重要影响。

📄 摘要（原文）

Latent chain-of-thought models move intermediate reasoning from emitted text into continuous states, improving compactness but hiding the causal object. We introduce SCIT, the Suffix Cache Interchange Test, a causal protocol that constructs exact source-recipient counterfactuals, patches declared cache segments, and identifies which transformer object carries the counterfactual computation. SCIT combines sufficiency tests with K/V component splits, hidden-state controls, semantic source controls, decoded validation, and matched corruption. On CODI-GPT2 and a Sim-CoT-style GPT-2 reproduction, counterfactual arithmetic transfers primarily through value-cache suffix trajectories rather than hidden states, keys, reusable answer slots, or single-token triggers. Complete sufficiency-and-necessity evidence for the late-value-suffix mechanism holds for the main CODI-GPT2 checkpoint; the Sim-CoT-style checkpoint shows the same sufficiency and decoded-control pattern but insufficient matched-corruption evidence for a necessity call. Beyond these local arithmetic cells, SCIT reveals carrier-regime shifts: arithmetic-like GPT-2/1B cells preserve latent-tail value/KV transfer, whereas competent 8B and repaired non-arithmetic cells route through prompt-prefix or full-cache K/V; boundary cells receive no mechanism call. SCIT therefore contributes a cache-level diagnostic, a checkpoint-specific GPT-2 arithmetic mechanism, and a competence-gated carrier map rather than a universal latent-tail claim.