ReContext: Recursive Evidence Replay as LLM Harness for Long-Context Reasoning

📄 arXiv: 2607.02509 📥 PDF

作者: Yanjun Zhao, Ruizhong Qiu, Tianxin Wei, Yuanchen Bei, Zhining Liu, Lingjie Chen, Ismini Lourentzou, Hanghang Tong, Jingrui He

分类: cs.AI

发布日期: 2026-07-05

💡 一句话要点

提出RECONTEXT以解决长上下文推理中的证据利用问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长上下文推理 大型语言模型 证据重放 自然语言处理 模型优化

📋 核心要点

  1. 现有大型语言模型在长上下文推理中未能有效利用输入中的相关证据，导致推理效果不佳。
  2. 提出RECONTEXT方法，通过模型内部信号构建证据池，并在生成前重放证据，提升证据利用率。
  3. 在八个长上下文数据集上进行实验，RECONTEXT在多个模型上均表现出显著的性能提升，达到最佳平均排名。

📝 摘要（中文）

理解和推理长上下文已成为部署大型语言模型（LLMs）在实际应用中的关键要求。尽管近期的LLMs支持越来越长的上下文窗口，但它们往往未能有效利用输入中已存在的相关证据。本文提出了一种名为递归证据重放（RECONTEXT）的推理方法，旨在改善长上下文推理。RECONTEXT利用模型内部的相关性信号构建查询条件的证据池，并在最终生成之前重放这些证据，同时保留完整的原始上下文。该递归选择过程将证据组织与答案生成分离，无需训练、外部存储或上下文修剪。我们还基于联想记忆提供了理论分析，将上下文视为记忆存储，将问题视为检索线索，将注意力视为线索-痕迹关联，将重放视为痕迹再激活。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在长上下文推理中未能有效利用输入证据的问题。现有方法在上下文访问与有效利用之间存在明显差距，导致推理效果不理想。

核心思路：RECONTEXT的核心思路是利用模型内部的相关性信号构建一个查询条件的证据池，并在生成答案之前重放这些证据，从而提升证据的利用效率。该方法不依赖于训练、外部存储或上下文修剪，简化了推理过程。

技术框架：RECONTEXT的整体架构包括证据池的构建、证据的重放和最终答案的生成三个主要模块。首先，通过模型内部信号识别相关证据并构建证据池；然后，在生成答案之前重放这些证据；最后，结合重放的证据生成最终答案。

关键创新：RECONTEXT的主要创新在于其递归证据重放机制，能够在不进行训练的情况下有效组织和利用证据。这一方法与传统的上下文修剪或外部记忆方法有本质区别，提供了一种新的思路来提升长上下文推理能力。

关键设计：在设计上，RECONTEXT利用模型内部的相关性信号作为证据选择的依据，确保所选证据与当前查询高度相关。该方法的实现不需要额外的参数设置或复杂的网络结构，简化了推理过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在八个长上下文数据集上进行的实验表明，RECONTEXT在Qwen3-4B、Qwen3-8B和Llama3-8B模型上均显著提升了证据利用率，达到了最佳平均排名。具体而言，RECONTEXT在128K上下文长度的设置下，展示了其在长上下文推理中的有效性和优势。

🎯 应用场景

RECONTEXT的研究成果在多个领域具有广泛的应用潜力，尤其是在需要处理长文本的自然语言处理任务中，如法律文书分析、学术论文总结和长篇对话系统等。通过提升长上下文推理能力，该方法能够为实际应用提供更准确的结果，推动智能助手和信息检索系统的发展。

📄 摘要（原文）

Understanding and reasoning over long contexts has become a key requirement for deploying large language models (LLMs) in realistic applications. Although recent LLMs support increasingly long context windows, they often fail to use relevant evidence that is already present in the input, revealing a gap between context access and effective context utilization. In this work, we propose Recursive Evidence Replay as LLM Harness for Long-Context Reasoning (RECONTEXT), a training-free inference method for improving long-context reasoning. RECONTEXT uses model-internal relevance signals to construct a query-conditioned evidence pool and replays it before final generation while preserving the full original context. This recursive selection process separates evidence organization from answer generation without training, external memory, or context pruning. We also provide a theoretical analysis based on associative memory, which characterizes the context as a memory store, the question as a retrieval cue, attention as cue-trace association, and replay as trace reactivation. Experiments on eight long-context datasets with 128K context length show that RECONTEXT consistently improves evidence utilization across Qwen3-4B, Qwen3-8B, and Llama3-8B, achieving the best average rank on all three backbones. Code is available atthis https URL.