Shattering the Autoregressive Curse: Dynamic Epistemic Entropy Orchestrated Erasable Reinforcement Learning for LLMs

📄 arXiv: 2606.17735v1 📥 PDF

作者: Ziliang Wang, Kang An, Faqiang Qian, Jialu Cai, Cijun Ouyang, Yuhang Wang, Qibing Ren, Yichao Wu

分类: cs.AI

发布日期: 2026-06-16

💡 一句话要点

提出动态认知熵驱动的可擦除强化学习以解决自回归困境

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自回归困境 动态认知熵 可擦除强化学习 长时间推理 人工智能 数学推理 模型自修复

📋 核心要点

  1. 现有的强化学习方法在长时间逻辑推理中容易受到自回归困境的影响，导致推理过程中的错误无法修复。
  2. 本文提出的$ ext{E}^3 ext{RL}$方法通过动态认知熵和可擦除机制，使模型能够自我修复推理过程中的局部逻辑缺陷。
  3. 在DeepMath-103k数据集上的实验表明，$ ext{E}^3 ext{RL}$在数学推理基准上取得了5.349%和6.514%的性能提升，展示了其有效性。

📝 摘要（中文）

尽管强化学习（RL）扩展了大型语言模型（LLMs）的认知边界，但在长时间逻辑推理中仍易受到自回归困境的影响：早期引入的小认知扰动会沿马尔可夫决策过程不可逆地传播，导致推理轨迹崩溃。为克服这一问题，本文提出了动态认知熵驱动的可擦除强化学习（$ ext{E}^3 ext{RL}$），该方法通过将模型的内生局部自回归交叉熵作为认知不确定性的内在坐标，消除了对外部信号的依赖。实验结果表明，$ ext{E}^3 ext{RL}$在数学推理基准上取得了显著的性能提升，超越了之前的最先进结果，展示了其在长序列推理中的有效性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在长时间逻辑推理中因自回归困境导致的推理错误不可逆传播的问题。现有方法在早期错误发生后，后续推理步骤受到严重影响，难以恢复。

核心思路：提出的$ ext{E}^3 ext{RL}$方法通过动态认知熵作为内在信号，消除对外部信号的依赖，并引入可擦除机制，使模型能够精确修复局部逻辑缺陷。

技术框架：该方法的整体架构包括动态阈值设置、优势分配和历史关键值缓存流的重用，形成一个自我修复的推理过程。

关键创新：$ ext{E}^3 ext{RL}$的核心创新在于通过内生的局部自回归交叉熵来处理认知不确定性，显著不同于传统依赖外部信号的强化学习方法。

关键设计：在参数设置上，采用了段级自适应动态阈值和优势分配机制，确保模型在推理过程中能够有效地识别和修复逻辑缺陷，同时保持线性内存开销。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，$ ext{E}^3 ext{RL}$在数学推理基准AIME上取得了显著的性能提升，4B和8B参数模型分别超越了之前的最先进结果5.349%和6.514%。这些结果表明，该方法在长序列推理中的探索效率和样本效率得到了有效改善。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、自动化推理工具和人工智能助手等。通过提升大型语言模型在复杂推理任务中的表现，$ ext{E}^3 ext{RL}$为未来的自我修复人工通用智能（AGI）奠定了理论和系统基础，具有重要的实际价值和影响。

📄 摘要（原文）

Although reinforcement learning (RL) has expanded the cognitive boundaries of large language models (LLMs), it often remains vulnerable to the autoregressive curse in long-horizon logical reasoning: small epistemic perturbations introduced early in generation can propagate irreversibly along the Markov decision process flow, triggering cascading failures that drive the reasoning trajectory toward collapse. To overcome this autoregressive cascade, in which a single early mistake can compromise all subsequent reasoning steps, we propose dynamic epistemic entropy orchestrated erasable reinforcement learning ($\text{E}^3\text{RL}$). $\text{E}^3\text{RL}$ eliminates reliance on external signals by grounding the model's endogenous local autoregressive cross-entropy as an intrinsic coordinate of epistemic uncertainty. By introducing segment-level adaptive dynamic thresholds and advantage allocation, $\text{E}^3\text{RL}$ enables the model to precisely excise localized logical defects while reusing historical key-value (KV) cache streams, thereby endowing the reasoning process with a self-healing capability. We train $\text{E}^3\text{RL}$ on the DeepMath-103k dataset. Experimental results show that $\text{E}^3\text{RL}$ reshapes the exploration efficiency of long-sequence reasoning and improves sample efficiency while maintaining linear memory overhead. On mathematical reasoning benchmarks such as AIME, $\text{E}^3\text{RL}$ achieves substantial performance gains, with the 4B and 8B parameter models surpassing previous state-of-the-art (SOTA) results by 5.349\% and 6.514\%, respectively. These findings suggest that $\text{E}^3\text{RL}$ shatters the autoregressive curse in long-sequence reasoning and establishes a theoretical and systems-level foundation for the next generation of self-healing artificial general intelligence (AGI).