Erase-then-Delta Attention: Decoupling Erase and Write Addresses in Delta-Rule Linear Attention

📄 arXiv: 2606.26560v1 📥 PDF

作者: Xiao Li, Chengruidong Zhang, Hao Luo, Xi Lin, Zekun Wang, Zihan Qiu, Yunfei Mao, Langshi Chen, Man Yuan, Minmin Sun, Huiqiang Jiang, Siqi Zhang, Rui Men, Wei Hu, Gong Cheng, Bo Zheng, Dayiheng Liu, Jingren Zhou

分类: cs.CL

发布日期: 2026-06-25

💡 一句话要点

提出Erase-then-Delta Attention以解决记忆更新中的信息过时问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 记忆更新 线性注意力 信息擦除 长文本生成 自然语言处理 动态记忆管理 模型优化

📋 核心要点

  1. 现有的Delta-rule线性注意力方法在记忆更新时无法主动移除不同地址的过时信息，限制了其性能。
  2. 本研究提出的EDA方法通过将擦除和写入地址解耦，允许在独立选择的地址上抑制过时记忆，从而提升记忆管理能力。
  3. 实验结果显示，EDA在2.5B和MoE 25B-A2.8B模型中均表现优异，尤其在长上下文评估中，性能提升显著。

📝 摘要（中文）

Delta-rule线性注意力通过在当前写入地址上纠正已存储内容来改善递归记忆更新。然而，主动纠正仍然依赖于同一写入地址，导致无法在其他地址主动移除过时信息。我们提出了Erase-then-Delta Attention（EDA），一种将擦除和写入地址解耦的记忆更新规则。该方法首先沿学习到的擦除方向进行有针对性的擦除步骤，然后沿当前写入方向执行标准的delta风格纠正写入。这种方法在保持delta-rule更新的纠正行为的同时，扩展了其记忆管理能力。实验表明，EDA在不同模型设置下均表现最佳，尤其在长上下文评估中也显示出显著优势。

🔬 方法详解

问题定义：本论文旨在解决Delta-rule线性注意力在记忆更新中无法主动移除过时信息的问题。现有方法的局限性在于其纠正操作仍然依赖于同一写入地址，导致信息更新不够灵活。

核心思路：论文提出的EDA方法通过将擦除步骤与写入步骤解耦，允许在独立选择的地址上进行信息擦除，从而提升了记忆更新的灵活性和有效性。

技术框架：EDA方法首先进行有针对性的擦除步骤，沿着学习到的擦除方向抑制过时信息；随后，执行标准的delta风格写入步骤，更新当前写入地址的内容。

关键创新：EDA的核心创新在于将擦除和写入操作解耦，允许模型在更新时不仅考虑写入内容，还能主动清理过时信息。这一设计显著提升了记忆管理能力。

关键设计：在实现中，EDA采用了学习到的擦除方向作为参数设置，并在损失函数中引入了对过时信息的抑制机制，以确保在写入新信息时能够有效清理旧信息。整体架构设计上，保持了delta-rule更新的纠正特性，同时增加了清理路径。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，EDA在2.5B和MoE 25B-A2.8B模型中均表现最佳，尤其在长上下文评估中，性能提升显著，支持从4k到128k上下文的有效处理，显示出相较于基线方法的显著优势。

🎯 应用场景

该研究的潜在应用场景包括自然语言处理中的长文本生成、对话系统以及其他需要动态记忆管理的任务。通过有效管理记忆更新，EDA能够提升模型在处理复杂上下文时的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Delta-rule linear attention improves recurrent memory updates by correcting what is already stored at the current write address before writing new content. However, the active correction is still anchored to that same write address. As a result, stale information stored at a different address cannot be actively removed before new content is written elsewhere. We propose Erase-then-Delta Attention (EDA), a memory update rule that decouples where to erase from where to write. The key insight is that recurrent memory models should not only correct the current write, but also selectively suppress outdated memory at an independently chosen address. Concretely, our method first applies a targeted erase step along a learned erase direction, and then performs the standard delta-style corrective write along the current write direction. This preserves the corrective behavior of delta-rule updates while expanding their memory-management capacity. Language-model pretraining experiments across dense 2.5B and MoE 25B-A2.8B model families show that EDA performs best in both settings. The gain persists after 80B-token long-context midtraining of the MoE models, where EDA also performs best in long-context evaluations from 4k to 128k contexts. A compact update analysis and memory-state probes suggest why: EDA keeps the delta-rule corrective write intact while allocating an additional cleanup path most strongly when passive decay is weak. These results suggest that recurrent memory models should decide not only what to write, but also what stale information to erase and where.