Beyond Entropy: Learning from Token-Level Distributional Deviations for LLM Reasoning

📄 arXiv: 2606.19771v1 📥 PDF

作者: Xuanzhi Feng, Zhengyang Li, Zeyu Liu, Haoxi Li, Yuming Jiang, Bing Guo, Jingcai Guo, Jie Zhang, Song Guo

分类: cs.AI

发布日期: 2026-06-18

💡 一句话要点

提出独立组合标记框架以解决LLM推理中的优化不稳定问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 强化学习 推理能力 分布特性 标记更新 熵控制 JS散度 优化方法

📋 核心要点

  1. 现有的RLVR方法在推理过程中存在优化不稳定性，导致模型容易陷入次优策略或盲目探索。
  2. 本文提出ICT框架，通过关注标记logits的分布特性，利用JS散度来引导有效的探索策略。
  3. 实验结果显示，更新前10%的独特标记显著提升了模型性能，相较于基线方法有明显的改善。

📝 摘要（中文）

强化学习与可验证奖励（RLVR）显著推动了大型语言模型（LLM）的推理能力，但面临优化不稳定性的问题：均匀的标记更新导致熵崩溃，过度的香农熵最大化则引发熵爆炸。为解决这一矛盾，本文提出独立组合标记（ICT）框架，聚焦于标记logits的分布特性，通过利用标记logits分布间的詹森-香农散度，识别具有独特分布模式的标记作为有效探索的关键分支点。理论分析证明，选择性更新这些标记可以调节策略集中度，降低香农熵带来的不确定性，同时控制第二阶Rényi熵捕获的概率集中度。实验证明，仅更新Qwen2.5模型中前10%的独特标记，平均提升pass@4达4.58%，最大增益14.9%。

🔬 方法详解

问题定义：本文旨在解决大型语言模型推理中的优化不稳定性问题，现有方法在标记更新时容易导致熵崩溃或熵爆炸，影响模型的推理能力。

核心思路：提出独立组合标记（ICT）框架，转变优化焦点，从标量不确定性转向标记logits的分布特性，利用JS散度识别关键标记以引导探索。

技术框架：ICT框架包括两个主要模块：一是计算标记logits的分布，二是基于JS散度选择具有独特分布模式的标记进行更新。

关键创新：最重要的创新在于通过分布特性而非单一标量来指导标记更新，避免了传统方法中的熵崩溃和熵爆炸问题。

关键设计：在实验中，仅更新前10%的独特标记，采用的损失函数和网络结构经过精心设计，以确保模型在训练过程中保持稳定性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，更新前10%的独特标记在Qwen2.5模型上实现了平均4.58%的pass@4提升，最大增益达到14.9%。这一结果相较于GRPO、20-Entropy和STAPO等基线方法具有显著优势，验证了ICT框架的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能问答等。通过提高LLM的推理能力，能够在更复杂的任务中实现更高的准确性和效率，未来可能对人机交互和自动化决策产生深远影响。

📄 摘要（原文）

Reinforcement Learning with Verifiable Rewards (RLVR) has significantly advanced Large Language Model (LLM) reasoning; however, it faces a fundamental optimization instability: uniform token updates precipitate entropy collapse, leading to premature convergence to suboptimal strategies, whereas excessive Shannon Entropy maximization can cause entropy explosion, driving blind exploration toward incoherent reasoning chains. To resolve this dichotomy, we introduce the Independent Combinatorial Tokens (ICT) framework, which shifts the optimization focus from scalar uncertainty to the distributional properties of token logits. By leveraging the Jensen-Shannon (JS) divergence between token logits distributions, ICT identifies tokens with distinctive distributional patterns as critical branching points for guiding effective exploration in LLM reasoning. Our theoretical analysis, grounded in both Shannon and second-order Rényi entropy, proves that selectively updating on these tokens regulates policy concentration: it reduces the overall distribution uncertainty measured by Shannon entropy, while controlling probability concentration captured by second-order Rényi entropy. This dual effect prevents over-concentrated token generation from weakening exploration and effectively stabilizes the training landscape. Empirical results demonstrate that updating only the top 10% of unique tokens on Qwen2.5 (0.5B/1.5B/7B) models yields an average pass@4 improvement of 4.58%, with a maximum gain of 14.9%, over GRPO, 20-Entropy, and STAPO baselines across seven benchmarks spanning math, commonsense, and Olympiad-level problems.