ReContext: Recursive Evidence Replay as LLM Harness for Long-Context Reasoning

📄 arXiv: 2607.02509v1 📥 PDF

作者: Yanjun Zhao, Ruizhong Qiu, Tianxin Wei, Yuanchen Bei, Zhining Liu, Lingjie Chen, Ismini Lourentzou, Hanghang Tong, Jingrui He

分类: cs.AI

发布日期: 2026-07-02

🔗 代码/项目: GITHUB

💡 一句话要点

提出RECONTEXT以解决长上下文推理中的证据利用问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长上下文推理 大型语言模型 证据重放 模型内部信号 推理优化

📋 核心要点

  1. 现有大型语言模型在处理长上下文时，未能有效利用输入中的相关证据，导致推理能力不足。
  2. 本文提出RECONTEXT，通过构建查询条件的证据池并在生成前重放证据，提升长上下文推理的有效性。
  3. 在八个长上下文数据集上的实验显示，RECONTEXT在Qwen3-4B、Qwen3-8B和Llama3-8B模型上均显著提高了证据利用率，取得最佳平均排名。

📝 摘要（中文）

理解和推理长上下文已成为部署大型语言模型（LLMs）在实际应用中的关键需求。尽管近期的LLMs支持越来越长的上下文窗口，但它们往往未能有效利用输入中已有的相关证据，暴露了上下文访问与有效利用之间的差距。本文提出了一种名为递归证据重放（RECONTEXT）的推理方法，旨在改善长上下文推理。RECONTEXT利用模型内部的相关性信号构建查询条件的证据池，并在最终生成之前重放这些证据，同时保留完整的原始上下文。这一递归选择过程将证据组织与答案生成分离，无需训练、外部记忆或上下文修剪。实验结果表明，RECONTEXT在多个长上下文数据集上显著提高了证据利用率。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在长上下文推理中未能有效利用已有证据的问题。现有方法在上下文访问与利用之间存在明显的差距，影响了推理效果。

核心思路：RECONTEXT的核心思路是利用模型内部的相关性信号构建一个查询条件的证据池，并在生成答案之前重放这些证据，从而提升推理的有效性。该方法不依赖于训练、外部记忆或上下文修剪，简化了推理过程。

技术框架：RECONTEXT的整体架构包括证据池的构建、证据的重放和最终答案生成三个主要模块。首先，根据输入的查询条件构建证据池，然后在生成答案前重放相关证据，最后结合原始上下文生成最终答案。

关键创新：RECONTEXT的主要创新在于将证据组织与答案生成过程分离，采用递归重放机制来提升证据的利用率。这一设计与现有方法的本质区别在于无需额外的训练或外部存储。

关键设计：在实现过程中，RECONTEXT利用模型内部的相关性信号进行证据选择，确保重放的证据与当前查询高度相关。具体的参数设置和网络结构细节未在摘要中详细说明，需参考完整论文获取更多信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在八个长上下文数据集上的实验结果显示，RECONTEXT在Qwen3-4B、Qwen3-8B和Llama3-8B模型上均显著提高了证据利用率，取得最佳平均排名，展示了其在长上下文推理中的有效性和优势。

🎯 应用场景

RECONTEXT的研究成果具有广泛的应用潜力，尤其在需要处理长文本的领域，如法律文书分析、医疗记录解读和学术文献综述等。通过提升长上下文推理的有效性，该方法能够帮助用户更好地从大量信息中提取有用知识，增强决策支持系统的智能化水平。

📄 摘要（原文）

Understanding and reasoning over long contexts has become a key requirement for deploying large language models (LLMs) in realistic applications. Although recent LLMs support increasingly long context windows, they often fail to use relevant evidence that is already present in the input, revealing a gap between context access and effective context utilization. In this work, we propose Recursive Evidence Replay as LLM Harness for Long-Context Reasoning (RECONTEXT), a training-free inference method for improving long-context reasoning. RECONTEXT uses model-internal relevance signals to construct a query-conditioned evidence pool and replays it before final generation while preserving the full original context. This recursive selection process separates evidence organization from answer generation without training, external memory, or context pruning. We also provide a theoretical analysis based on associative memory, which characterizes the context as a memory store, the question as a retrieval cue, attention as cue-trace association, and replay as trace reactivation. Experiments on eight long-context datasets with 128K context length show that RECONTEXT consistently improves evidence utilization across Qwen3-4B, Qwen3-8B, and Llama3-8B, achieving the best average rank on all three backbones. Code is available at https://github.com/Yanjun-Zhao/ReContext.