Adaptive Nucleus Truncation for Long-Form Reasoning
作者: Ousmane Amadou Dia
分类: stat.ML, cs.LG
发布日期: 2026-06-12
💡 一句话要点
提出自适应核截断方法以提升长文本推理性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长文本生成 自适应采样 熵控制 推理稳定性 自然语言处理
📋 核心要点
- 现有的采样方法依赖固定阈值，无法适应不同的任务难度和生成预算，导致推理性能不稳定。
- 本文提出自适应核截断采样（ANTS），通过熵条件控制器动态调整截断宽度，从而提升长文本生成的稳定性和准确性。
- 在多个基准测试中，ANTS在不同生成预算下均显著提升了推理性能，尤其在指令跟随和数学推理任务上表现突出。
📝 摘要（中文）
采样在长文本语言模型推理中扮演着重要角色。在数千个解码步骤中，候选标记集的微小变化可能导致不同的推理轨迹和最终答案。现有的截断方法如top-$p$、min-$p$和固定top-$nσ$采样虽然改善了无约束采样，但依赖于固定阈值，无法适应熵、任务难度、训练阶段或生成预算的变化。本文提出自适应核截断采样（ANTS），将固定解码规则的top-$nσ$采样扩展为长文本生成的自适应回滚控制机制。ANTS在最大logit周围选择标准化邻域，使用熵条件控制器调整截断宽度，并保留无截断的后备选项以在截断不安全时稳定训练。在33B总量/4B活跃稀疏混合专家推理模型上，ANTS在8K、16K和32K生成预算下，分别提高了基于百分比的基准平均性能1.9、3.8和5.2分。最显著的提升出现在指令跟随和数学推理任务上。
🔬 方法详解
问题定义：本文旨在解决现有长文本推理中采样方法的局限性，特别是固定阈值导致的性能不稳定问题。现有方法无法适应任务的动态变化，影响最终的推理结果。
核心思路：论文提出的自适应核截断采样（ANTS）通过引入熵条件控制器，动态调整截断宽度，旨在提高长文本生成的灵活性和稳定性。该方法允许模型根据当前的推理状态自适应调整采样策略。
技术框架：ANTS的整体架构包括三个主要模块：首先，选择最大logit周围的标准化邻域；其次，使用熵条件控制器来调整截断宽度；最后，保留无截断的后备选项，以确保在截断不安全时的训练稳定性。
关键创新：ANTS的主要创新在于将固定的采样规则转变为自适应的控制机制，这一设计使得模型能够根据实时的推理需求调整采样策略，从而显著提升了性能。
关键设计：在ANTS中，熵条件控制器的设计是关键，能够实时监测生成过程中的熵变化，并据此调整截断宽度。此外，模型还设置了无截断的后备选项，以应对可能的训练不稳定性。通过这些设计，ANTS在不同生成预算下均表现出色。
🖼️ 关键图片
📊 实验亮点
在多个基准测试中，ANTS在8K、16K和32K生成预算下，分别提高了基于百分比的基准平均性能1.9、3.8和5.2分。特别是在指令跟随和数学推理任务上，ANTS的提升幅度超过10分，显示出其在复杂推理任务中的显著优势。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的长文本生成、对话系统和智能问答等。通过提升长文本推理的稳定性和准确性，ANTS能够为实际应用提供更可靠的支持，尤其在复杂任务和动态环境中具有重要价值。
📄 摘要（原文）
Sampling plays an important role in long-form language-model reasoning. Over thousands of decoding steps, small changes in the candidate token set can compound into different reasoning trajectories, stability profiles, and final answers. Existing truncation methods such as top-$p$, min-$p$, and fixed top-$nσ$ sampling improve over unrestricted sampling, but they rely on fixed thresholds that cannot adapt to changes in entropy, task difficulty, training stage, or generation budget. We introduce Adaptive Nucleus Truncation Sampling (ANTS), which extends top-(nσ) sampling from a fixed decoding rule into an adaptive rollout-control mechanism for long-form generation. ANTS selects standardized neighborhoods around the maximum logit before temperature scaling, adapts the truncation width using an entropy-conditioned controller, and retains a no-truncation fallback arm to stabilize training when truncation becomes unsafe. On a 33B-total / 4B-active sparse Mixture-of-Experts reasoning model, ANTS improves average performance over percentage-based benchmarks by +1.9, +3.8, and +5.2 points at 8K, 16K, and 32K generation budgets, respectively. The strongest gains appear on instruction following and mathematical reasoning, with IFBench improving by more than 10 points at 32K and AIME 2025 improving by 7 points. Code generation reveals an important budget interaction. On Codeforces, ANTS trails the baseline at 8K, but reverses this gap and substantially improves ELO at 16K and 32K. These results suggest that sampler design should be treated not just as a decoding hyperparameter, but as part of how we stabilize and scale long-budget reasoning.