DAMI: Dual-Axis Memory Initialization for Enhanced Long-Context Retrieval in Gated Linear Attention

📄 arXiv: 2610.41994v1 📥 PDF

作者: Zhangchi Feng, Harry Jiang, Yangyifei Luo, Ray Zhang, Richong Zhang

分类: cs.AI, cs.CL

发布日期: 2026-10-30

💡 一句话要点

提出DAMI以解决长上下文检索中的记忆初始化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长上下文检索 门控线性注意力 记忆初始化 几何时间尺度 模型优化 自然语言处理 信息检索

📋 核心要点

  1. 现有线性注意力方法在长上下文检索中受限于有限状态记忆，导致性能下降。
  2. 提出双轴记忆初始化（DAMI），通过联合配置门参数以优化记忆保留和检索能力。
  3. DAMI在多个模型上显著提高了检索准确率，且在语言建模和常识推理任务上表现与基线相当。

📝 摘要（中文）

线性注意力在序列长度上呈线性扩展，但其有限状态记忆限制了长上下文的检索。在门控线性递归中，记忆保留依赖于状态衰减，这由门参数A_log和dt_bias以及输入激活共同决定。通过控制的门控DeltaNet（GDN）实验，发现这两个参数在训练后与其初始值高度相关，强调了初始化的重要性。因此，本文提出了双轴记忆初始化（DAMI），在训练前联合配置这些参数。DAMI为不同检索距离的头分配几何时间尺度，并在层间采用低-高-低的输入敏感度配置。在不增加可训练参数的情况下，通过小样本激活校准GDN系列实现，以匹配行为目标。DAMI在多个模型上提高了平均RULER风格的检索准确率，提升幅度为5.29至16.71个百分点。

🔬 方法详解

问题定义：本文旨在解决线性注意力在长上下文检索中的记忆初始化问题。现有方法的有限状态记忆导致在长序列处理时性能不足，尤其是在记忆保留方面存在挑战。

核心思路：论文提出的DAMI方法通过在训练前联合配置门参数，优化记忆的保持和检索能力。通过为不同的注意力头分配几何时间尺度，DAMI能够有效地处理不同的检索距离。

技术框架：DAMI的整体架构包括两个主要模块：首先是参数初始化阶段，通过几何时间尺度配置门参数；其次是激活校准阶段，使用小样本激活来调整GDN系列模型，以确保其行为目标的匹配。

关键创新：DAMI的核心创新在于其双轴初始化策略，能够在训练前优化门控参数的配置，从而提高记忆的有效性。这一方法与传统的随机初始化方法本质上不同，后者未能充分利用参数间的相关性。

关键设计：DAMI设计了低-高-低的输入敏感度配置，确保在不同层次上对输入的响应能力。此外，参数A_log和dt_bias的几何时间尺度分配使得模型在处理长上下文时更加灵活。

📊 实验亮点

实验结果显示，DAMI在多个模型（如GDN、KDA、GDN2等）上提高了平均RULER风格的检索准确率，提升幅度在5.29至16.71个百分点之间。尽管在语言建模和常识推理任务上，DAMI的性能与随机初始化基线相当，但在长上下文检索中表现出显著优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、信息检索和对话系统等。通过优化长上下文的记忆初始化，DAMI能够提升模型在处理复杂任务时的表现，具有重要的实际价值和广泛的应用前景。未来，DAMI的思想也可能被应用于其他类型的序列模型中，推动相关领域的发展。

📄 摘要（原文）

Linear attention scales linearly with sequence length, but its finite-state memory can limit long-context retrieval. In gated linear recurrences, memory retention depends on state decay, which is shaped jointly by gate parameters A_log and dt_bias and by input activations. In controlled Gated DeltaNet (GDN) experiments, both parameters remain highly correlated with their initial values after training, highlighting the importance of initialization. Therefore, we introduce Dual-Axis Memory Initialization (DAMI), which jointly configures these parameters before training. DAMI assigns geometric timescales across heads for varied retrieval distances and a low-high-low input-sensitivity profile across layers. A small activation sample calibrates the GDN-family implementation to match both behavioral targets without adding trainable parameters. Across GDN, KDA, GDN2, Mamba-2, and RWKV-7, DAMI improves average RULER-style retrieval accuracy by 5.29 to 16.71 percentage points over the corresponding random-initialization baselines. Performance on language modeling, commonsense reasoning, and 2K real-world retrieval remains broadly comparable to those baselines. Our code is available at https://speedai.com/research/dami.