The Query Knows What to Forget: A Second Erase Direction for Linear Attention

📄 arXiv: 2608.13668v1 📥 PDF

作者: Dhruman Gupta, Aritra Das, Debayan Gupta

分类: cs.LG

发布日期: 2026-08-13

💡 一句话要点

提出查询导向的擦除方向以解决线性注意力中的干扰问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 线性注意力 查询导向 擦除方向 长上下文 检索优化 Gated DeltaNet-2 机器学习

📋 核心要点

  1. 现有的线性注意力方法在长上下文中存在干扰问题，导致检索效果下降。
  2. 论文提出了查询导向的擦除方向（QED），通过从查询导出第二个擦除方向来解决干扰问题。
  3. 实验结果表明，QED在每个长度上都改善了检索效果，并将可用上下文长度几乎翻倍。

📝 摘要（中文）

线性注意力保持固定大小的状态。在长上下文中，许多存储项共享此状态，导致它们之间的干扰降低了检索效果。Gated DeltaNet-2（GDN-2）从当前令牌的键中导出擦除向量，但其读取中的干扰是通过查询来测量的，擦除步骤无法到达查询。本文提出了查询导向的擦除方向（QED），它增加了一个从查询导出的第二个擦除方向，与键正交。在快速权重视角下，键导向的增量编辑无法改变与读取正交的部分。QED利用可编辑部分来取消沿查询测量的旧状态内容，并在训练窗口之外的每个长度上改善检索效果，几乎将S-NIAH-1上的可用上下文长度翻倍。

🔬 方法详解

问题定义：本文旨在解决线性注意力中由于状态共享导致的干扰问题，现有方法在长上下文中无法有效检索。

核心思路：提出查询导向的擦除方向（QED），通过从查询导出第二个擦除方向，增强对干扰的控制。这样设计是为了在读取过程中更有效地处理旧状态内容。

技术框架：整体架构包括输入令牌的键和查询，QED模块用于生成擦除向量，快速权重机制用于更新状态。主要模块包括输入处理、QED计算和状态更新。

关键创新：QED的最大创新在于引入了与键正交的擦除方向，这一设计使得在读取时能够更好地消除干扰，显著提升了检索效果。

关键设计：关键参数设置包括擦除向量的计算方式，损失函数的设计考虑了干扰的影响，网络结构中引入了快速权重机制以提高效率。具体细节包括如何通过查询导出擦除向量及其在状态更新中的应用。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，QED在S-NIAH-1数据集上显著提高了检索效果，几乎将可用上下文长度翻倍，展示了在长上下文处理中的优势。与基线相比，QED在每个长度上均表现出更优的性能，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、图像处理和时间序列分析等需要长上下文理解的任务。通过改善检索效果，QED可以在多种实际应用中提升模型性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Linear attention keeps a state of fixed size. At long context, many stored items share this state, and interference between them degrades retrieval. Gated DeltaNet-2 (GDN-2), like every delta-rule model before it, derives its erase vector from the key of the current token. However, the interference in its reads is measured through the query, and the erase step cannot reach it. We introduce the Query-derived Erase Direction (QED). QED adds a second erase direction derived from the query and orthogonal to the key. In the fast-weight view, a key-directed delta edit cannot change the key-orthogonal part of a read. It uses the editable part to cancel old-state content measured along the query. It also improves retrieval at every length past the training window, and it about doubles the usable context length on S-NIAH-1.