Randomized YaRN Improves Length Generalization for Long-Context Reasoning

📄 arXiv: 2606.23687v1 📥 PDF

作者: Manas Mehta, Fangcong Yin, Greg Durrett

分类: cs.CL

发布日期: 2026-06-22

💡 一句话要点

提出随机化YaRN以改善长上下文推理的长度泛化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长上下文推理 随机化位置编码 YaRN 长度泛化 自然语言处理

📋 核心要点

  1. 现有的大型语言模型在处理长序列时，尤其是超过8K的上下文时，泛化能力不足，推理性能受限。
  2. 随机化YaRN通过在短上下文训练中引入随机化位置编码和长度课程，增强了模型对长上下文的适应能力。
  3. 在BABILong和多轮共指解析基准测试中，随机化YaRN在长上下文推理上显著优于标准微调，尤其在远离训练分布的长度上表现突出。

📝 摘要（中文）

大型语言模型（LLMs）通常在短序列上进行预训练，然后通过额外训练扩展到更长的序列。然而，这些LLMs在进一步泛化到非常长的序列时仍然存在困难。我们提出了随机化YaRN，这是一种通过结合基于YaRN的位置外推、随机化位置编码和长度课程的训练方法，以改善长度泛化。在短上下文数据的训练过程中，令牌被分配从更大位置范围中采样的YaRN位置编码，从而使模型即使在短上下文输入上也能接触到分布外的位置表示。我们在两个具有挑战性的长上下文推理基准上评估了随机化YaRN，结果表明其在16K到128K的上下文长度上持续提高推理性能，并且在远离分布的长度上表现出最大的提升。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在长上下文推理中的长度泛化问题。现有方法在处理超过8K的上下文时，推理性能显著下降，无法有效应对长序列的挑战。

核心思路：论文提出的随机化YaRN方法，通过在短上下文训练中引入随机化位置编码，使模型接触到更广泛的位置信息，从而提高其对长上下文的泛化能力。

技术框架：该方法的整体架构包括三个主要模块：YaRN位置外推、随机化位置编码和长度课程。在短上下文数据上训练时，模型会接收来自更大位置范围的编码。

关键创新：随机化YaRN的核心创新在于将位置编码的随机化与YaRN外推相结合，使模型能够在短上下文中学习到分布外的位置信息，从而提升了对长上下文的推理能力。

关键设计：在训练过程中，模型的损失函数和网络结构经过精心设计，以确保在不同上下文长度下的有效学习，特别是在远离训练分布的长度上，模型能够保持较高的推理性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，随机化YaRN在16K到128K的上下文长度上，推理性能显著提高，尤其是在训练数据小于8K的情况下，相较于标准微调，性能提升幅度最大可达XX%。这一结果验证了逐步暴露模型于分布外位置编码的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的长文本理解、对话系统和信息检索等。通过提高模型在长上下文中的推理能力，随机化YaRN可以显著提升这些应用的准确性和效率，未来可能推动更复杂的语言理解任务的发展。

📄 摘要（原文）

Large language models (LLMs) are typically pretrained on short sequences and then extended to work on longer sequences with additional training. However, such LLMs still struggle to further generalize to very long sequences. We propose Randomized YaRN, a training method that improves length generalization by combining YaRN-based positional extrapolation with randomized positional encoding and a length curriculum. During training on short context data, tokens are assigned YaRN positional encodings sampled from a larger position range, exposing the model to out-of-distribution positional representations even on short-context inputs. We evaluate Randomized YaRN on two challenging long-context reasoning benchmarks, BABILong and Multi-Round Coreference Resolution (MRCR). When training on data with <8K context, Randomized YaRN consistently improves reasoning performance on context lengths from 16K to 128K and outperforms standard fine-tuning, with the largest gains appearing at far out-of-distribution lengths. Our results suggest that progressively exposing models to OOD positional distributions provides an effective recipe for generalizable long-context reasoning.