Sliding-window beats linear attention

📄 arXiv: 2608.28444v1 📥 PDF

作者: Alexia Jolicoeur-Martineau, Rhea Sanjay Sukthanker, Pashmina Cameron, Emy Gervais

分类: cs.CL, cs.LG

发布日期: 2026-08-28

💡 一句话要点

提出滑动窗口注意力以解决大语言模型的内存消耗问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 滑动窗口注意力 大型语言模型 内存优化 长文本处理 自然语言处理 高效算法

📋 核心要点

  1. 现有的二次注意力机制导致大型语言模型在内存和能量消耗上面临挑战，尤其是在处理长上下文时。
  2. 论文提出滑动窗口注意力（SWA）作为一种替代方案，旨在提高性能并降低内存消耗，无需后续训练。
  3. 实验结果表明，SWA在长上下文推理任务中性能提升显著，达到线性注意力的2到10倍，且速度和内存需求均优于后训练的线性模型。

📝 摘要（中文）

由于二次注意力的特性，大型语言模型（LLMs）消耗大量内存和能量。每增加一个新标记，所需的内存成本也随之增加。为了解决这一问题，研究者们提出了线性注意力的替代方案，但尚未与更简单的基线进行充分比较。本文展示了滑动窗口注意力（SWA）在多个LLM和下游任务中的表现，尤其在长上下文推理任务中，SWA的性能显著高于线性注意力，且无需后续训练，速度极快，内存需求低，成为一种经济可靠的解决方案。

🔬 方法详解

问题定义：论文要解决的问题是大型语言模型在处理长上下文时的内存和能量消耗过高，尤其是二次注意力机制导致的内存需求不断增加。现有的线性注意力方法虽然有潜力，但通常需要从头训练或进行大量后续训练，无法有效解决这一问题。

核心思路：论文的核心思路是引入滑动窗口注意力（SWA），通过限制注意力的范围来降低内存消耗，同时保持或提升模型的性能。SWA设计为无需后续训练，旨在提供一种快速且高效的替代方案。

技术框架：整体架构包括输入处理、滑动窗口机制和输出生成三个主要模块。输入处理阶段将文本分割为适合窗口处理的片段，滑动窗口机制则在每个片段内计算注意力，最后生成输出。

关键创新：最重要的技术创新点在于滑动窗口注意力的设计，使得模型在处理长上下文时能够显著降低内存需求，同时在多个下游任务中表现优异。这与现有的线性注意力方法本质上不同，后者通常需要更多的训练资源。

关键设计：在关键设计上，SWA采用了动态窗口大小的策略，以适应不同长度的输入文本。此外，损失函数和网络结构经过优化，以确保在降低内存消耗的同时，保持模型的高效性和准确性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，滑动窗口注意力（SWA）在长上下文推理任务中表现出色，相比于线性注意力，性能提升幅度达到2到10倍。SWA不仅无需后续训练，且在速度和内存需求上均优于后训练的线性模型，展示了其作为一种高效解决方案的潜力。

🎯 应用场景

该研究的潜在应用场景包括自然语言处理中的长文本理解、对话系统和信息检索等领域。由于SWA在内存和计算效率上的优势，它能够为资源受限的环境提供更为经济的解决方案，推动大型语言模型的广泛应用。未来，SWA可能会在更多的AI应用中得到推广，进一步提升模型的可用性和效率。

📄 摘要（原文）

Due to the nature of quadratic attention, Large Language Models (LLMs) consume a lot of memory and energy. Every new token costs more than the previous one. For each additional token, the keys and values must be stored in memory indefinitely, which is unsustainable. Several alternatives have been proposed to fix the quadratic scaling problem, one of which is retrofitting LLMs to use Linear Attention. This idea has attracted a lot of attention, given its promise to solve the quadratic scaling problem with state-of-the-art performance at low cost. However, this line of research has not been properly compared to simpler baselines. In this work, we show that Sliding Window Attention (SWA) with sinks performs as well or better than post-trained Linear Attention models. We observe this across multiple LLMs on various downstream tasks. For long-context reasoning tasks (Needle-in-a-Haystack and BABILong), SWA achieves massively higher performance (2 to 10 times higher than linear attention). SWA requires no post-training, is extremely fast, and requires low memory; therefore, making it an extremely cheap and reliable solution. To reduce inference memory cost, we strongly recommend switching to SWA instead of post-training linear models. Linear attention models may have shown some promise, but they likely require to be trained from scratch or extensive post-training in order to even match SWA.