Learning to Refine Hidden States for Reliable LLM Reasoning

📄 arXiv: 2606.17524v1 📥 PDF

作者: Chia-Hsuan Hsu, Jui-Ming Yao

分类: cs.LG

发布日期: 2026-06-16

备注: Code is available at tongyu0924/Learning-to-Refine-Hidden-States

💡 一句话要点

提出ReLAR框架以解决大型语言模型推理不稳定问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理稳定性 强化学习 潜在状态精炼 深度学习 多步骤推理 医学推理 开放式生成

📋 核心要点

  1. 现有大型语言模型在复杂推理任务中存在内部推理过程不稳定的问题，早期错误可能导致后续预测不准确。
  2. 本文提出的ReLAR框架通过强化学习指导潜在状态的精炼，能够在解码前迭代更新隐藏表示，从而提高推理质量。
  3. 实验结果显示，ReLAR在多个基准测试上显著提升了推理准确性和生成质量，同时降低了推理开销。

📝 摘要（中文）

大型语言模型在推理能力上表现出色，但在复杂的多步骤设置中，其内部推理过程可能不稳定，早期的隐藏状态错误可能导致错误预测。为此，本文提出了ReLAR，一个基于强化学习的潜在状态精炼框架，能够在解码前迭代更新隐藏表示。ReLAR保持紧凑的潜在推理状态，并利用学习的深度和动作控制器自适应地确定精炼步骤的数量和方向。控制器通过基于逐步似然性改进的策略梯度目标进行训练，从而实现高效的输入依赖推理，而无需显式的思维链生成。实验结果表明，ReLAR在医学、数学、多跳推理和开放式生成基准上提高了准确性、生成质量和推理稳定性，同时推理开销显著低于显式推理基线。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在复杂多步骤推理中的不稳定性问题。现有方法在处理早期隐藏状态错误时，容易导致后续预测的累积错误。

核心思路：ReLAR框架通过强化学习的方式，迭代更新隐藏状态，确保在解码前进行有效的潜在状态精炼，从而提高推理的准确性和稳定性。

技术框架：ReLAR的整体架构包括潜在状态的维护、深度和动作控制器的学习，以及基于策略梯度的训练过程。控制器根据输入自适应地决定精炼步骤的数量和方向。

关键创新：ReLAR的主要创新在于其使用的强化学习策略，使得潜在状态的精炼过程能够根据输入动态调整，避免了显式思维链生成的需求。

关键设计：在设计中，ReLAR采用了紧凑的潜在推理状态表示，并通过逐步似然性改进的目标来训练控制器，确保精炼过程的高效性和有效性。具体的损失函数和网络结构细节在实验中进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ReLAR在医学、数学和多跳推理等基准测试中，准确性和生成质量均有显著提升，推理开销比显式推理基线低得多，具体提升幅度达到XX%。

🎯 应用场景

该研究的潜在应用领域包括医疗诊断、数学问题求解和开放式文本生成等。通过提高大型语言模型的推理稳定性和准确性，ReLAR能够在实际应用中提供更可靠的智能辅助决策支持，具有重要的实际价值和广泛的未来影响。

📄 摘要（原文）

Large language models show strong reasoning ability, but their internal reasoning process can remain unstable in complex multi-step settings, where early hidden-state errors may propagate to incorrect predictions. We propose ReLAR, a reinforcement-guided latent refinement framework that iteratively updates hidden representations before decoding. ReLAR maintains a compact latent reasoning state and uses learned depth and action controllers to adaptively determine both the number and direction of refinement steps. The controllers are trained with a policy gradient objective based on step-wise likelihood improvement, enabling efficient input-dependent reasoning without explicit chain-of-thought generation. Experiments on medical, mathematical, multi-hop reasoning, and open-ended generation benchmarks show that ReLAR improves accuracy, generation quality, and reasoning stability with substantially lower inference overhead than explicit reasoning baselines.