Cliff Tokens: Identifying Single-Token Failure Triggers in LLM Mathematical Reasoning

📄 arXiv: 2606.25524v1 📥 PDF

作者: Jaeyong Ko, Pilsung Kang, Yukyung Lee

分类: cs.AI, cs.CL

发布日期: 2026-06-24

💡 一句话要点

提出悬崖标记以识别LLM数学推理中的单标记失败触发因素

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数学推理 悬崖标记 失败触发因素 单标记优化 推理准确率 模型分类

📋 核心要点

  1. 现有方法未能准确识别触发LLM数学推理失败的具体标记，导致对失败原因的分析不足。
  2. 论文提出悬崖标记的概念，通过自适应阈值识别潜力显著下降的标记，并引入悬崖分类法以区分不同类型的悬崖。
  3. 实验结果表明，删除悬崖标记可显著提高模型的推理准确率，Cliff-DPO方法在多个基准上提升了最高6.6%的准确率。

📝 摘要（中文）

大型语言模型（LLMs）在数学推理中达到高准确率，但在相同问题上的个体推理轨迹却存在分歧；有些模型能得出正确答案，而另一些则失败。以往的研究在步骤、块或句子级别分析失败，或在已发生失败的标记处进行分析，但未能识别出触发失败的精确标记。本文提出了悬崖标记，定义为在自适应阈值下，标记的潜力显著下降的点。通过对七个模型和三个数学推理基准（GSM1K、MATH500、AIME 2025）的实验，发现悬崖标记作为失败触发因素，删除第一个悬崖标记并重新采样可将通过率从64%恢复至100%。此外，本文还引入了悬崖分类法，定义为确定性、未知和采样悬崖，具有不同的概率特征，并在模型规模上具有普适性。最后，通过在悬崖位置进行单标记偏好优化（Cliff-DPO），在GSM8K上训练，提升了基准测试的准确率，最高可达6.6%。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在数学推理中失败的具体触发因素识别问题。现有方法主要集中在步骤或句子级别，未能有效定位导致失败的单个标记。

核心思路：提出悬崖标记的概念，定义为在自适应阈值下，标记的潜力显著下降的点。通过这种方式，可以准确识别出导致推理失败的关键标记。

技术框架：整体流程包括：首先使用一侧两比例z检验计算每个标记的潜力；然后识别出悬崖标记；接着进行删除和重新采样实验，最后通过Cliff-DPO进行单标记优化。

关键创新：最重要的技术创新在于悬崖标记的定义及其分类法，能够有效识别并分类不同类型的失败触发因素，且该分类法在不同模型规模上具有普适性。

关键设计：在实验中，使用自适应阈值来计算标记潜力，并通过贪婪选择和标记熵定义悬崖的不同类型。Cliff-DPO方法通过优化悬崖位置的单标记偏好，进一步提升了模型的推理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，删除第一个悬崖标记并重新采样可将通过率从64%提升至100%。Cliff-DPO方法在GSM8K上训练后，准确率在多个基准上提升了最高6.6%，验证了悬崖标记的有效性和重要性。

🎯 应用场景

该研究的潜在应用领域包括教育技术、自动化推理系统和智能辅导工具。通过识别和优化数学推理中的失败触发因素，可以显著提高模型在复杂推理任务中的表现，进而推动智能教育和自动化决策系统的发展。

📄 摘要（原文）

Large language models (LLMs) reach high accuracy in mathematical reasoning, but individual traces on the same problem diverge; some arrive at the correct answer while others fail. Prior work analyzes failure at the step, chunk, or sentence level, or at tokens where failure has already occurred. Neither identifies the precise token that triggers the shift toward failure. We introduce the cliff token, a token where the token-wise potential drops significantly under an adaptive threshold that scales with the local token-wise potential, based on a one-sided two-proportion z-test. Across seven models and three mathematical reasoning benchmarks (GSM1K, MATH500, AIME 2025), cliff tokens act as failure triggers; deleting the first cliff token and resampling recovers pass@64 to 1.0, while keeping it limits recovery to between 0.71 and 1.00. We further introduce a cliff taxonomy of deterministic, uncertain, and sampled-off cliffs, defined by greedy choice and token entropy. Each type has distinct probabilistic characteristics, and the taxonomy generalizes across model scales. Finally, we validate the taxonomy via single-token preference optimization at cliff positions (Cliff-DPO). Trained on GSM8K, Cliff-DPO improves accuracy across benchmarks by up to +6.6. Optimizing at uncertain and sampled-off cliffs improves reasoning, while deterministic cliffs do not.