ReSum: Synergizing LLM Reasoning and Summarization with Reinforcement Learning

📄 arXiv: 2606.13316v1 📥 PDF

作者: Xucong Wang, Ziyu Ma, Yong Wang, Shidong Yang, Hailang Huang, Renda Li, Pengkun Wang, Xiangxiang Chu

分类: cs.AI

发布日期: 2026-06-11

备注: 24 pages, including 13 pages of main text and 11 pages of appendix

💡 一句话要点

提出ReSum框架以优化大语言模型的推理与总结能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 强化学习 自我总结 推理优化 自然语言处理 长时推理 信息整合

📋 核心要点

  1. 现有的RLVR方法往往导致推理过程过长，影响推理的连贯性并耗尽上下文预算。
  2. ReSum框架通过自我总结来压缩和组织推理轨迹，允许模型自主管理推理过程。
  3. 实验表明，ReSum在性能上平均提升4%，同时推理长度减少了18.6%。

📝 摘要（中文）

强化学习与可验证奖励（RLVR）是提升大语言模型（LLMs）长时推理能力的核心技术。然而，现有的RLVR方法往往导致推理过程过长，影响推理的连贯性并耗尽上下文预算。为了解决这一问题，本文提出了ReSum框架，通过自我总结来压缩和组织推理轨迹。初步研究表明，自我总结能够通过降低标记级别的熵来稳定生成过程，并且引入“总结”短语可以显著减轻从错误推理前缀传播的错误。ReSum采用了一种总结感知的自适应推理机制，进行对比评估自我总结对推理过程的益处。实验结果显示，ReSum在提升性能的同时，推理长度减少了18.6%。

🔬 方法详解

问题定义：本文旨在解决现有RLVR方法导致的推理过程过长和连贯性差的问题。现有方法依赖外部机制组织推理轨迹，未能充分利用模型自身的能力。

核心思路：ReSum框架通过自我总结机制，使模型能够压缩和组织推理轨迹，从而提高推理的连贯性和效率。自我总结的引入能够降低生成过程中的不确定性。

技术框架：ReSum的整体架构包括自我总结模块和对比评估机制。模型在推理过程中自发触发自我总结，并通过对比生成的总结短语来评估其对推理的影响。

关键创新：ReSum的主要创新在于引入了总结感知的自适应推理机制，允许模型在推理过程中动态管理总结，从而优化推理轨迹。这与传统方法的静态推理方式形成鲜明对比。

关键设计：在设计上，ReSum采用了对比分支和匹配分支的机制，通过随机注入总结短语来进行对比评估。此外，设计了总结感知的优势函数，以便在对比轨迹中进行更细粒度的比较。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ReSum在性能上平均提升了4%，同时推理长度减少了18.6%。这一显著的性能提升表明，ReSum框架在优化大语言模型推理过程中的有效性，尤其是在处理长上下文时的优势。

🎯 应用场景

ReSum框架具有广泛的应用潜力，尤其在需要长时推理和信息整合的自然语言处理任务中，如对话系统、文本生成和信息检索等领域。通过优化推理过程，ReSum能够提升模型在复杂任务中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement Learning with Verifiable Rewards (RLVR) is a central technique for improving long-horizon reasoning in Large Language Models (LLMs). However, existing RLVR methods often encourage unnecessarily long reasoning rollouts, which can degrade reasoning coherence and exhaust the available context budget. Existing approaches to long-context organization often depend on external mechanisms to organize rollouts, rather than enabling the model to manage its own reasoning trajectory. To address this limitation, we propose ReSum, a novel RLVR framework that enables LLMs to compress and organize their reasoning trajectories through self-summarization. Our pilot studies show that self-summarization stabilizes generation by lowering token-level entropy, and that introducing a ``summarization'' phrase can substantially mitigate errors propagated from an incorrect rollout prefix. Motivated by these findings, ReSum adopts a summarization-aware adaptive rollout mechanism that contrastively evaluates whether self-summarization benefits the ongoing reasoning process. Specifically, when the model spontaneously triggers self-summarization, ReSum masks the summarization phrase to create a contrastive branch; for non-summarization positions, it instead randomly injects the phrase to create a matched branch. We further design a summarization-aware advantage to enable finer-grained comparison between contrastive rollout trajectories. Extensive experiments show that ReSum improves performance at an average of 4\% while reducing rollout length by 18.6\%.