ReSum: Synergizing LLM Reasoning and Summarization with Reinforcement Learning
作者: Xucong Wang, Ziyu Ma, Yong Wang, Shidong Yang, Hailang Huang, Renda Li, Pengkun Wang, Xiangxiang Chu
分类: cs.AI
发布日期: 2026-06-12
💡 一句话要点
提出ReSum框架以优化大语言模型的推理与摘要过程
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 强化学习 自我摘要 推理优化 自然语言处理
📋 核心要点
- 现有的RLVR方法常常导致推理过程过长，影响推理的一致性，并消耗上下文预算。
- ReSum框架通过自我摘要机制，使模型能够压缩和组织推理轨迹，从而优化推理过程。
- 实验表明，ReSum在性能上平均提升4%，同时推理长度减少了18.6%，显示出显著的效果。
📝 摘要（中文）
强化学习与可验证奖励（RLVR）是提升大语言模型（LLMs）长时推理能力的核心技术。然而，现有的RLVR方法往往导致推理过程过长，降低了推理的一致性并消耗了可用的上下文预算。为了解决这一问题，本文提出了ReSum，一个新颖的RLVR框架，允许LLMs通过自我摘要来压缩和组织推理轨迹。初步研究表明，自我摘要通过降低令牌级别的熵来稳定生成，并且引入“摘要”短语可以显著减轻从错误的推理前缀传播的错误。ReSum采用了一种摘要感知的自适应推理机制，能够对比评估自我摘要对推理过程的益处。实验结果显示，ReSum在平均性能上提升了4%，同时推理长度减少了18.6%。
🔬 方法详解
问题定义：本文旨在解决现有RLVR方法在长时推理中导致的推理过程过长和一致性差的问题。现有方法依赖外部机制来组织推理轨迹，未能充分利用模型自身的能力。
核心思路：ReSum框架的核心思路是通过自我摘要来压缩和组织推理轨迹，允许模型自主管理推理过程，从而提高推理的稳定性和一致性。
技术框架：ReSum的整体架构包括自我摘要模块和对比评估机制。在推理过程中，当模型触发自我摘要时，会创建一个对比分支；而在非摘要位置，则随机注入摘要短语以形成匹配分支。
关键创新：ReSum的主要创新在于引入了摘要感知的自适应推理机制，使得模型能够在推理过程中动态评估自我摘要的效果，与现有方法相比，增强了模型的自我管理能力。
关键设计：在设计中，ReSum采用了摘要感知的优势函数，以实现对比推理轨迹的细粒度比较，确保在推理过程中能够有效利用摘要信息。
🖼️ 关键图片
📊 实验亮点
实验结果显示，ReSum在推理性能上平均提升了4%，同时推理长度减少了18.6%。这一显著的性能提升表明，ReSum框架在优化大语言模型的推理过程方面具有重要的应用潜力。
🎯 应用场景
ReSum框架在自然语言处理领域具有广泛的应用潜力，尤其是在需要长时推理和信息压缩的任务中，如文本摘要、对话系统和知识问答等。通过优化推理过程，ReSum能够提升模型的效率和准确性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Reinforcement Learning with Verifiable Rewards (RLVR) is a central technique for improving long-horizon reasoning in Large Language Models (LLMs). However, existing RLVR methods often encourage unnecessarily long reasoning rollouts, which can degrade reasoning coherence and exhaust the available context budget. Existing approaches to long-context organization often depend on external mechanisms to organize rollouts, rather than enabling the model to manage its own reasoning trajectory. To address this limitation, we propose ReSum, a novel RLVR framework that enables LLMs to compress and organize their reasoning trajectories through self-summarization. Our pilot studies show that self-summarization stabilizes generation by lowering token-level entropy, and that introducing a ``summarization'' phrase can substantially mitigate errors propagated from an incorrect rollout prefix. Motivated by these findings, ReSum adopts a summarization-aware adaptive rollout mechanism that contrastively evaluates whether self-summarization benefits the ongoing reasoning process. Specifically, when the model spontaneously triggers self-summarization, ReSum masks the summarization phrase to create a contrastive branch; for non-summarization positions, it instead randomly injects the phrase to create a matched branch. We further design a summarization-aware advantage to enable finer-grained comparison between contrastive rollout trajectories. Extensive experiments show that ReSum improves performance at an average of 4\% while reducing rollout length by 18.6\%.