Retrospective Sparse Attention for Efficient Long-Context Generation

📄 arXiv: 2508.09001v1 📥 PDF

作者: Seonghwan Choi, Beomseok Kang, Dongwon Jo, Jae-Joon Kim

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-08-12

💡 一句话要点

提出RetroAttention以解决长上下文生成中的KV缓存瓶颈问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长上下文生成 键值缓存 注意力机制 语言模型 性能优化

📋 核心要点

  1. 现有的KV缓存方法在长上下文生成任务中存在显著的延迟和内存占用问题，无法有效处理累积的注意力误差。
  2. 本文提出RetroAttention，通过追溯性修正过去的注意力输出，利用新到达的KV条目来提高上下文的相关性。
  3. 实验结果表明，RetroAttention在长生成基准上优于现有方法，有效KV暴露提升1.6倍，准确率提升21.9%。

📝 摘要（中文）

大型语言模型（LLMs）在推理、代码生成和多轮对话等长上下文任务中越来越多地被应用。然而，扩展上下文的推理受到键值（KV）缓存的瓶颈限制，其内存占用随着序列长度线性增长，并主导每个解码步骤的延迟。尽管近期的KV缓存压缩方法识别并加载重要的标记，但主要集中在输入上下文上，未能解决长解码过程中累积的注意力误差。本文提出了一种名为RetroAttention的新型KV缓存更新技术，通过使用后续解码步骤中新到达的KV条目，追溯性地修正过去的注意力输出。通过维护轻量级的输出缓存，RetroAttention使得过去的查询能够高效访问更相关的上下文，同时引入的延迟开销极小。这打破了固定注意力输出的范式，允许对先前的近似进行持续修正。大量在长生成基准上的实验表明，RetroAttention在性能上始终优于最先进的KV压缩方法，有效KV暴露提高了最多1.6倍，准确率提升了最多21.9%。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在长上下文生成任务中，由于KV缓存导致的延迟和内存占用问题。现有方法主要关注输入上下文，未能有效处理长解码过程中的累积注意力误差。

核心思路：RetroAttention的核心思路是通过追溯性修正过去的注意力输出，利用后续解码步骤中新到达的KV条目来提高上下文的相关性。这种设计允许模型在生成过程中不断修正先前的近似，提升生成质量。

技术框架：RetroAttention的整体架构包括两个主要模块：轻量级输出缓存和KV缓存更新机制。输出缓存存储过去的注意力输出，而KV缓存更新机制则在每个解码步骤中引入新的KV条目以修正输出。

关键创新：RetroAttention的最大创新在于其追溯性修正机制，这与现有的固定注意力输出方法本质上不同。通过动态更新注意力输出，模型能够更好地适应长上下文生成任务的需求。

关键设计：在技术细节上，RetroAttention采用了轻量级的输出缓存设计，确保在引入新KV条目时，延迟开销最小化。此外，模型的参数设置和损失函数设计也经过优化，以提升生成的准确性和效率。

📊 实验亮点

实验结果显示，RetroAttention在长生成基准上表现优异，相较于最先进的KV压缩方法，有效KV暴露提升了最多1.6倍，准确率提升了最多21.9%。这些结果表明该方法在处理长上下文生成任务中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括长文本生成、代码自动生成和多轮对话系统等。通过提高长上下文生成的效率和准确性，RetroAttention能够在实际应用中显著提升用户体验，推动智能对话系统和自动化编程工具的发展。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly deployed in long-context tasks such as reasoning, code generation, and multi-turn dialogue. However, inference over extended contexts is bottlenecked by the Key-Value (KV) cache, whose memory footprint grows linearly with sequence length and dominates latency at each decoding step. While recent KV cache compression methods identify and load important tokens, they focus predominantly on input contexts and fail to address the cumulative attention errors that arise during long decoding. In this paper, we introduce RetroAttention, a novel KV cache update technique that retrospectively revises past attention outputs using newly arrived KV entries from subsequent decoding steps. By maintaining a lightweight output cache, RetroAttention enables past queries to efficiently access more relevant context, while incurring minimal latency overhead. This breaks the fixed-attention-output paradigm and allows continual correction of prior approximations. Extensive experiments on long-generation benchmarks show that RetroAttention consistently outperforms state-of-the-art (SOTA) KV compression methods, increasing effective KV exposure by up to 1.6$\times$ and accuracy by up to 21.9\%.