Fewer Tokens, Smaller Cache: Reward-Coordinated Efficient Reasoning

📄 arXiv: 2608.04771v1 📥 PDF

作者: Qiyuan Zhu, Dezhi Li, Pengyu Cheng, Tianle Chen, Jiacheng Wang, Ruijie Shen, Hao Gu, Sida Lin, Zirui Liu, Jiacheng Liu, Sirui Han

分类: cs.AI

发布日期: 2026-08-05

备注: Work in progress, revisions ongoing

💡 一句话要点

提出ReCo以解决长链推理中的缓存效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推理模型 KV-cache压缩 过程奖励 动态调整 效率提升

📋 核心要点

  1. 现有推理模型在处理长链推理时，因中间步骤过多导致推理成本高，效率低下。
  2. ReCo通过过程奖励协调压缩策略，针对不同推理阶段的奖励信号动态调整缓存和生成策略。
  3. 实验结果表明，ReCo在六个基准测试中减少生成令牌37%-65%，推理延迟提升2.08倍至2.35倍，同时保持了较高的准确性。

📝 摘要（中文）

大型推理模型（LRMs）在复杂任务中表现出色，但其冗长的中间步骤导致推理成本显著增加。现有的KV-cache压缩方法通常采用统一策略，未能有效利用推理过程中的奖励信号。本文提出ReCo（奖励协调压缩），通过过程奖励来指导KV-cache压缩、反思令牌的惩罚以及基于置信度的提前停止，从而在保持准确性的同时，显著减少生成的令牌数量和推理延迟。

🔬 方法详解

问题定义：本文旨在解决大型推理模型在长链推理中因中间步骤过多而导致的推理成本高和效率低的问题。现有的KV-cache压缩方法未能考虑推理过程中的奖励信号，导致压缩效果不佳。

核心思路：ReCo的核心思路是利用过程奖励来动态调整KV-cache的压缩策略，在高奖励步骤时更积极地压缩缓存，而在低奖励步骤时则减少压缩力度，从而提高推理效率。

技术框架：ReCo框架包括三个主要模块：1) 奖励自适应KV-cache压缩，2) 针对反思令牌的奖励带惩罚，3) 基于置信度的提前停止机制。这些模块共同作用于推理过程，优化生成效率。

关键创新：ReCo的创新在于将过程奖励与KV-cache压缩策略相结合，动态调整压缩力度和生成策略，显著提升了推理效率和准确性。与现有方法相比，ReCo能够更有效地利用推理过程中的信息。

关键设计：在设计中，ReCo引入了轻量级的过程奖励估计器，实时评估每一步的奖励，并根据奖励动态调整缓存大小和生成策略。同时，反思令牌的生成受到奖励带惩罚的约束，以减少冗余生成。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在三种推理模型和六个基准测试中，ReCo显著减少了生成的令牌数量，降低了37%-65%，并将端到端延迟提升至2.08倍至2.35倍，相较于完整的链推理方法，保持了较高的准确性，展示了其在推理效率上的显著优势。

🎯 应用场景

ReCo的研究成果在多个领域具有广泛的应用潜力，包括自然语言处理、智能问答系统和复杂决策支持系统等。通过提高推理效率，ReCo能够在实时应用中显著降低计算资源消耗，提升用户体验。未来，ReCo的理念也可扩展到其他类型的推理模型和任务中。

📄 摘要（原文）

Large Reasoning Models (LRMs) excel on complex tasks through long chain-of-thought (CoT) reasoning, but their lengthy intermediate steps cause severe overthinking that inflates inference cost. KV-cache compression is a common solution, yet existing reasoning-oriented methods apply a uniform policy across the trajectory and judge compression only by what it removes from the cache. Two observations point the other way. First, a reasoning state's tolerance to context loss varies along the trajectory, and process reward tracks it: deleting tokens at high-reward steps preserves accuracy far better than deleting the same budget at random. Second, compression is not free on the generation side, since a smaller cache leads the model to generate more tokens, partly canceling the saving. Together these motivate coordinating both sides under a single process reward. We propose ReCo (Reward-Coordinated Compression), a step-wise framework in which a lightweight process-reward estimator scores each completed step and drives three components: (1) reward-adaptive KV-cache compression that shrinks the retained cache harder at high-reward steps and less at low-reward ones, (2) a reward-banded penalty on reflection tokens that curbs redundant generation, and (3) confidence-based early stopping that triggers when the reasoning is reliable. Across three reasoning models and six benchmarks, ReCo reduces generated tokens by 37%-65% and end-to-end latency by 2.08x-2.35x over Full CoT, all while largely preserving accuracy.