Which Tokens Matter? Adaptive Token Selection for RLVR with the Relative Surprisal Index

📄 arXiv: 2606.31575v1 📥 PDF

作者: Outongyi Lv, Yanzhao Zheng, Yuanwei Zhang, Zhenghao Huang, Xingjun Wang, Baohua Dong, Hangcheng Zhu, Yingda Chen

分类: cs.AI

发布日期: 2026-06-30

备注: 13 pages, 4 figures

💡 一句话要点

提出相对惊讶指数以解决RLVR中的令牌选择问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大型语言模型 信息论 令牌选择 推理能力 可验证奖励 相对惊讶指数 模型优化

📋 核心要点

  1. 现有方法在令牌选择上存在矛盾，难以有效平衡高熵与低概率令牌的影响。
  2. 论文提出相对惊讶指数（RSI），作为一种信息论度量，结合令牌的熵与概率，优化令牌选择。
  3. RSI-S方法在不同模型规模上（如Qwen2.5-1.5B、3B和7B）在AIME和AMC基准上提高了2-3个百分点的avg@32准确率。

📝 摘要（中文）

强化学习（RL）已成为推动大型语言模型（LLM）超越模仿训练、实现更强推理能力的重要工具。在现有方法中，具有可验证奖励的强化学习（RLVR）成为提升LLM推理的关键范式。尽管取得了实证成功，但近期研究提出了不同的见解。一方面，有研究主张在训练中优先考虑高熵令牌位置，另一方面则警告低概率令牌可能主导梯度更新。本文提出相对惊讶指数（RSI），作为一种信息论度量，结合了令牌的熵与所选令牌的概率。基于RSI，提出RSI选择（RSI-S），一种熵自适应的令牌过滤方法，成功调和了之前的矛盾范式，并在多个模型规模上实现了较高的准确率。

🔬 方法详解

问题定义：本文旨在解决在RLVR中令牌选择的矛盾问题，现有方法在高熵与低概率令牌的选择上存在不足，导致性能不稳定。

核心思路：提出相对惊讶指数（RSI），通过结合令牌的熵与概率，提供了一种更全面的令牌选择标准，以优化策略更新。

技术框架：整体架构包括RSI计算模块、令牌过滤模块和策略优化模块。首先计算每个令牌的RSI值，然后根据设定的稳定区间过滤令牌，最后进行策略更新。

关键创新：RSI作为一种信息论度量，能够有效结合令牌的熵与概率，解决了以往方法在令牌选择上的矛盾，提供了新的视角。

关键设计：RSI-S方法设定了稳定的RSI区间，过滤掉冗余的低惊讶令牌和不稳定的高惊讶尾部令牌，确保了训练过程的稳定性和有效性。具体参数设置和损失函数设计在实验中进行了详细验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RSI-S方法在不同模型规模上（如Qwen2.5-1.5B、3B和7B）在AIME和AMC基准上实现了avg@32准确率提高2-3个百分点，相较于基线GRPO表现出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能问答等。通过优化令牌选择，提升模型的推理能力和准确性，具有重要的实际价值和广泛的应用前景，能够推动更复杂任务的实现。

📄 摘要（原文）

Reinforcement learning (RL) has become a powerful tool for propelling Large Language Models (LLMs) beyond imitation-based training towards more robust reasoning capabilities. Among existing approaches, RL with Verifiable Rewards (RLVR) has emerged as a pivotal paradigm for advancing LLM reasoning. Despite its empirical success, recent studies have offered different insights. One line of inquiry advocates prioritizing high-entropy token positions during training, while another perspective cautions against allowing low-probability tokens to dominate gradient updates. Notably, although high-entropy tokens are usually correlated with low probability, both paradigms empirically yield substantial performance gains. In this work, we argue that evaluating sampled-token probability or entropy in isolation is insufficient to capture the policy optimization dynamics. To resolve this tension, we introduce the Relative Surprisal Index (RSI), a principled, information-theoretic metric that naturally couples the token's entropy with the probability of the selected token. We show that, under mild conditions, RSI is related to the local ratio between the first-order variations of the logit-gradient norm and predictive entropy under a selected-logit perturbation. Building on RSI, we propose RSI Selection (RSI-S), an entropy-adaptive token filtering method that retains tokens within a stable RSI interval. RSI-S successfully reconciles previous contradictory paradigms and filters out both redundant low-surprisal tokens and unstable high-surprisal tail tokens. Empirical evaluations show that RSI-S achieves higher avg@32 accuracy across different model scales (Qwen2.5-1.5B, 3B, and 7B) on AIME and AMC benchmarks: RSI-S improves avg@32 accuracy by 2--3 percentage points over GRPO. Overall, RSI offers a promising perspective for RLVR improvement.