Information Abundance Paradox: Long-Context Training Undermines Parametric Knowledge
作者: Arda Uzunoglu, Benjamin van Durme, Daniel Khashabi
分类: cs.CL, cs.AI
发布日期: 2026-08-12
💡 一句话要点
提出信息丰富悖论以解决长上下文训练的知识编码问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长上下文训练 信息丰富悖论 参数化知识 自然语言处理 模型鲁棒性
📋 核心要点
- 现有方法假设长上下文训练会提升模型性能，但实际效果却在一定范围后下降，表现出鲁棒性问题。
- 论文提出信息丰富悖论，认为丰富的训练上下文会降低模型对信息的参数化编码，增加对上下文的依赖。
- 实验表明，长上下文训练在特定条件下提升了语言建模和理解能力，但在缺乏上下文时表现不佳。
📝 摘要（中文）
大型语言模型越来越多地在长上下文下进行训练，这种假设认为长上下文会帮助模型获取更丰富的证据。然而，本文提出的信息丰富悖论表明，训练上下文中的丰富信息可能会降低模型对信息的参数化编码的激励，导致模型在推理时更依赖上下文。通过对长文档的预训练，发现上下文窗口的增加在一定范围内提升了语言建模和自然语言理解的性能，但超过该范围后，性能反而下降。实验结果表明，长上下文的训练可能导致模型在缺乏或误导性上下文时的鲁棒性下降。
🔬 方法详解
问题定义：本文旨在解决长上下文训练对模型知识编码的影响，现有方法未能考虑上下文丰富性对模型学习方式的影响。
核心思路：提出信息丰富悖论，认为训练中丰富的信息会降低模型对信息的参数化编码能力，导致模型在推理时更依赖上下文。
技术框架：研究通过对比不同上下文窗口的训练效果，分析模型在长文档预训练和监督微调中的表现，主要模块包括语言建模、自然语言理解和闭卷多项选择问答。
关键创新：信息丰富悖论是本文的核心创新，强调了长上下文训练并非简单的数据供给问题，而是影响模型学习方式的复杂因素。
关键设计：在训练过程中，调整上下文窗口大小，观察其对模型性能的影响，特别是关注模型在缺乏或误导性上下文时的鲁棒性变化。通过因果干预分析，揭示了梯度压力从前馈网络转向注意力模块的机制。
🖼️ 关键图片
📊 实验亮点
实验结果显示，随着上下文窗口的增加，语言建模和自然语言理解的性能在一定范围内提升，但超过该范围后，性能出现下降。在监督微调中，任务相关的训练上下文提升了性能，但在缺乏上下文时鲁棒性显著下降，表明长上下文训练的复杂性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和信息检索等。通过优化长上下文训练策略，可以提升模型在复杂任务中的表现，尤其是在需要处理大量信息的场景中。未来，该研究可能推动更高效的模型设计，减少对上下文的过度依赖，提升模型的鲁棒性和适应性。
📄 摘要（原文）
Large language models are increasingly trained and deployed with long contexts that span documents, code repositories, and interaction histories. This scaling reflects the implicit assumption that training on longer contexts will only help the model by exposing it to richer evidence. We challenge this view by studying how the context window shapes a model's mode of learning, shifting it between parametric internalization and contextualization. We propose the Information Abundance Paradox, which hypothesizes that abundant relevant information in the training context can reduce the incentive to encode that information parametrically, thereby increasing reliance on context. In pretraining with long documents, increasing the context window improves language modeling, natural language understanding, and closed-book MCQA only up to an intermediate optimum, after which performance consistently declines. In supervised fine-tuning, more task-relevant train-time context improves performance with supporting context, but reduces robustness when context is absent or misleading at test time. Our analysis suggests that this behavior arises when longer context provides a lower complexity solution. Mechanistically, training with informative context shifts gradient pressure from feed-forward networks, often linked to parametric knowledge, toward attention modules, and causal interventions show that this shift increases reliance on context during inference. Overall, these findings support the Information Abundance Paradox and suggest that scaling toward near-infinite context is not simply a matter of supplying more data, even when high-quality long-context data is abundant.