Demystifying Hidden-State Recurrence: Switchable Latent Reasoning with On-Policy Reinforcement Learning

📄 arXiv: 2606.13106v1 📥 PDF

作者: Jiayu Yang, Chao Chen, Shengen Wu, Yinhong Liu, Yuxuan Fan, Lujundong Li, Songning Lai, Chengwei Qin, Zhijiang Guo

分类: cs.LG, cs.CL

发布日期: 2026-06-11

💡 一句话要点

提出SWITCH框架以解决隐状态递归优化与可解释性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐状态递归 潜在推理 强化学习 可解释性 机械分析 模型优化 决策系统

📋 核心要点

  1. 现有的隐状态递归潜在推理方法在标准在线强化学习中难以优化，且缺乏因果可解释性。
  2. 本文提出SWITCH框架，通过引入显式边界标记，解决了隐状态与在线RL的兼容性及可解释性问题。
  3. SWITCH在多个实验中表现优异，超越了现有的隐状态递归潜在推理方法，显示出良好的训练效果。

📝 摘要（中文）

隐状态递归的潜在推理通过用连续的隐状态递归替代可见推理轨迹来压缩推理，但现有方法在标准的在线强化学习（RL）中难以优化且难以进行因果解释。本文的关键见解是，使用一对显式边界标记可以同时解决这两个问题：离散的进入和退出锚点使得隐块与标准在线RL兼容，同时也为机械分析提供了自然的切入点。基于此，我们提出了SWITCH，一个可切换的潜在推理框架。该模型通过发出进入潜在模式，通过退出。由于边界是普通的离散标记，GRPO策略比率在每个决策点上都得到了良好的定义。相同的锚点还使得潜在步骤可以直接探测和进行因果干预。我们通过可见到潜在的课程和通过递归潜在计算传播梯度的Switch-GRPO目标训练模型。SWITCH在相似规模下始终优于先前的隐状态递归潜在推理方法。

🔬 方法详解

问题定义：本文旨在解决隐状态递归潜在推理在标准在线强化学习中优化困难和因果解释不足的问题。现有方法往往难以提供明确的决策依据，导致可解释性差。

核心思路：SWITCH框架的核心思想是引入一对显式的边界标记（和），使得模型在进入和退出潜在推理模式时具有明确的标识，从而提高与在线RL的兼容性和可解释性。

技术框架：SWITCH框架的整体架构包括两个主要阶段：首先，模型通过发出进入潜在推理模式；其次，通过退出潜在模式。每个决策点的GRPO策略比率都得到明确的定义，便于优化。

关键创新：SWITCH的主要创新在于使用显式的边界标记，使得隐状态递归潜在推理不仅可以通过在线RL进行训练，还可以进行直接的机械分析。这一设计与现有方法的本质区别在于其可解释性和优化的有效性。

关键设计：在模型训练中，采用了可见到潜在的课程和Switch-GRPO目标，通过递归潜在计算传播梯度。模型的参数设置和损失函数设计旨在确保潜在步骤的有效性和因果计算的集中性。具体细节包括边界标记的选择和潜在步骤的计算方式。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SWITCH框架在实验中表现出色， consistently outperforming 先前的隐状态递归潜在推理方法，显示出在相似规模下的显著提升。具体而言，模型在多个基准测试中取得了更高的准确率和更快的收敛速度，验证了其设计的有效性和优越性。

🎯 应用场景

SWITCH框架在多个领域具有潜在应用价值，特别是在需要推理和决策的复杂任务中，如自然语言处理、机器人控制和智能决策系统。其可解释性和优化能力使得该方法在实际应用中更具吸引力，能够帮助研究人员和工程师更好地理解和改进模型的决策过程。

📄 摘要（原文）

Latent chain-of-thought compresses reasoning by replacing visible reasoning traces with continuous hidden-state recurrence, but existing formulations are difficult to optimize with standard on-policy reinforcement learning (RL) and hard to interpret causally. Our key insight is that a single pair of explicit boundary tokens can address both issues at once: discrete entry and exit anchors make the latent block compatible with standard on-policy RL, and the same anchors offer a natural foothold for mechanistic analysis. Motivated by this, we propose SWITCH, a switchable latent reasoning framework. The model emits to enter latent mode and to exit. Because the boundaries are ordinary discrete tokens, the GRPO policy ratio is well-defined at every decision point. The same anchors also expose the latent steps to direct probing and causal intervention. We train the model with a visible-to-latent curriculum and a Switch-GRPO objective that propagates gradients through recurrent latent computation. SWITCH consistently outperforms prior hidden-state-recurrence latent reasoning approaches at similar scale. Mechanistic analysis through the boundary tokens further reveals three findings: (i) is a sharply localised, learned switching policy rather than a stylistic artefact; (ii) the latent step it opens performs problem-specific, causally important computation rather than acting as an inert placeholder; and (iii) that computation is concentrated at a single hidden-state transition on entry. Together, these results show that hidden-state-recurrence latent reasoning is both RL-trainable and open to direct mechanistic analysis, including of how on-policy RL itself improves the model from the inside.