GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning

📄 arXiv: 2608.02585v1 📥 PDF

作者: Zhaoxin Yu, Qi Shen, Hengli Li, Zhaowei Zhang, Song-Chun Zhu, Chi Zhang, Zilong Zheng

分类: cs.LG, cs.CL

发布日期: 2026-08-03

💡 一句话要点

提出GradCuit以解决测试时潜在推理的鲁棒性与可解释性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 潜在推理 梯度优化 Transformer 可解释性 鲁棒性 自然语言处理 机器学习

📋 核心要点

  1. 现有方法在测试时潜在推理的信用分配上存在间接性，导致推理过程不够清晰。
  2. GradCuit通过在Transformer层中插入可优化的潜在状态，直接优化内部推理过程，提升了模型的可解释性和鲁棒性。
  3. 在五个指令调优的基础模型和多个推理基准上，GradCuit的平均准确率达到64.5%，超越了现有方法。

📝 摘要（中文）

基于优化的潜在推理通过在测试时优化实例特定的连续状态来改善大型语言模型的输出，同时保持模型参数不变。然而，现有方法通常通过解码的标记间接连接这些状态与推理轨迹，导致序列级的信用分配不明确，模糊了潜在更新如何影响后续推理。本文提出GradCuit（通过电路的梯度），在选定的Transformer层中插入可优化的潜在状态，使得因果自注意力为每个后续标记的对数概率提供了与每个前置潜在状态的可微路径，从而实现了从整个后续输出直接分配奖励加权梯度到潜在状态的能力。实验结果显示，GradCuit在多个基准测试中表现优异，准确率平均达到64.5%。

🔬 方法详解

问题定义：本文旨在解决现有优化方法在测试时潜在推理中的信用分配不明确的问题。现有方法通过解码标记间接连接潜在状态与推理轨迹，导致推理过程的透明度不足。

核心思路：GradCuit的核心思路是通过在Transformer的特定层中插入可优化的潜在状态，利用因果自注意力机制为每个后续标记的对数概率提供与前置潜在状态的可微路径，从而实现直接的信用分配。

技术框架：GradCuit的整体架构包括在Transformer的隐藏表示与生成的后续标记之间插入潜在状态，通过因果自注意力机制实现梯度的直接传递。主要模块包括潜在状态的优化、因果自注意力计算和梯度分配。

关键创新：GradCuit的最大创新在于其通过电路的梯度传递机制，直接优化内部推理过程，而非仅仅依赖于输出的再生成或重排序。这一设计使得模型在推理时能够更灵活地调整其思维过程。

关键设计：在参数设置上，GradCuit采用了奖励加权的梯度分配策略，并在多个学习率设置下进行了实验，确保了模型的鲁棒性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，GradCuit在五个指令调优的基础模型和多个推理基准上实现了平均64.5%的准确率，超越了链式思维提示法6.6个百分点，并在七种学习率设置下表现出更高的鲁棒性，准确率的标准差从1.53降低至0.82。

🎯 应用场景

GradCuit的研究成果在多个领域具有潜在应用价值，包括自然语言处理、智能问答系统和人机交互等。通过提高模型的可解释性和鲁棒性，GradCuit能够帮助开发更为智能和可靠的AI系统，促进人机协作的效率与安全性。

📄 摘要（原文）

Optimization-based latent reasoning improves large language model outputs by optimizing instance-specific continuous states at test time while keeping model parameters frozen. Existing methods, however, typically connect these states to the reasoning trajectory through decoded tokens, making sequence-level credit assignment indirect and obscuring how latent updates shape subsequent reasoning. We introduce GradCuit (gradient through circuit), which inserts optimizable latent states at a selected Transformer layer between the hidden representations of the prompt and the generated continuation. Causal self-attention provides every continuation-token log-probability with a differentiable path to every preceding latent state through the remaining Transformer blocks, enabling reward-weighted gradients from the entire continuation to be assigned directly to the latents. Across five instruction-tuned backbones, three reasoning benchmarks, and two answer formats, GradCuit achieves an average accuracy of 64.5%, outperforming chain-of-thought prompting by 6.6 percentage points and the strongest competing method by 2.4 points. GradCuit also demonstrates greater robustness: across seven learning-rate settings, it consistently outperforms LatentSeek while reducing the standard deviation of accuracy from 1.53 to 0.82, and even its random-walk variant remains competitive with LatentSeek. For interpretability, token-level gradient attribution reveals that latent influence concentrates on reasoning-connector tokens, while layer analysis identifies early-to-middle Transformer layers as the most effective optimization space. By directly optimizing internal reasoning from outcome feedback, GradCuit opens a new axis of robust and interpretable test-time scaling, where LLMs adapt how they reason rather than merely regenerate, sample, or rerank outputs.