Multi-State Linear Attention with Generalized Second-Order Routing

📄 arXiv: 2610.37645v1 📥 PDF

作者: Hee Seung Hwang, Sanghyuk Chun, Xindi Wu, Olga Russakovsky, Zhiwei Deng

分类: cs.CL

发布日期: 2026-10-27

💡 一句话要点

提出MERLIN以提升长序列建模的效率与准确性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长序列建模 自注意力机制 多状态线性注意力 信息聚合 自然语言处理 机器学习

📋 核心要点

  1. 现有的自注意力机制在处理长序列时存在时间复杂度高的问题，限制了模型的扩展性。
  2. 本文提出MERLIN，通过跟踪段落键的第一和第二矩，增强了查询与段落之间的相关性建模。
  3. 实验结果显示，MERLIN在多个长上下文任务中均显著优于基线方法，提升幅度可达13.5%。

📝 摘要（中文）

自注意力机制在长序列建模中发挥着关键作用，但其平方时间复杂度限制了大规模语言模型的扩展。最近提出的多状态线性注意力机制（MSLA）通过将上下文分割为多个段落并在各自的内存状态中压缩信息，提高了序列建模的效率。本文提出了MERLIN（MomEnt Routing for multi-state LINear attention），该方法通过跟踪每个段落键的第一和第二矩，全面建模段落与查询之间的相关性，从而实现更具内容感知的聚合。实验结果表明，MERLIN在多种长上下文任务中均优于现有聚合方法，尤其在RULER和LongBench的多项子任务中表现突出。

🔬 方法详解

问题定义：本文旨在解决现有多状态线性注意力机制在聚合信息时忽视对齐分布的问题，导致长序列建模效率低下。

核心思路：MERLIN通过跟踪每个段落键的第一和第二矩，提供了更全面的对齐信息，使得聚合过程能够考虑到对齐的均值和方差，从而实现更精确的内容感知聚合。

技术框架：MERLIN的整体架构包括对每个段落的键进行矩的计算，并利用这些矩来指导查询的聚合过程。主要模块包括段落键的矩计算、查询与段落的对齐评估以及最终的聚合输出。

关键创新：MERLIN的核心创新在于引入了对齐的方差信息，使得聚合不仅依赖于均值，还考虑了对齐的分布特征，这与传统方法的单一均值聚合形成了鲜明对比。

关键设计：在参数设置上，MERLIN采用了优化的损失函数以平衡聚合的准确性与计算效率，同时在网络结构上，设计了高效的矩计算模块，以减少计算开销。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，MERLIN在RULER needle-in-a-haystack和长上下文问答任务中分别提升了8.3%和7.0%的性能。此外，在LongBench的多项子任务中，MERLIN的提升幅度高达13.5%和12.0%，且在内存消耗上优于基线方法，显示出其高效性。

🎯 应用场景

MERLIN的研究成果在长序列建模、自然语言处理和信息检索等领域具有广泛的应用潜力。通过提高长上下文处理的效率，MERLIN可为大规模语言模型的训练和推理提供更强的支持，推动相关技术的进步与应用。未来，MERLIN可能在实时信息检索和复杂问答系统中发挥重要作用。

📄 摘要（原文）

Self-attention plays a key role in long-sequence modeling, but its quadratic time complexity fundamentally limits the scaling of Large Language Models. Recently, Multi-State Linear Attention (MSLA) mechanisms have been proposed to make sequence modeling more efficient by splitting the context into segments and compressing each in its own memory state. MSLA aggregates the information extracted from each memory state using only the mean alignment between a query and each segment's keys, ignoring how the alignment is distributed within the segment. In order to model the relevance of a segment to a query more comprehensively and incorporate the variance of the alignment in the aggregation, we propose MERLIN (MomEnt Routing for multi-state LINear attention), a method that tracks the first and second moments of each segment's keys. Using the moments of keys, a query can recover both the mean and the variance of its alignment with each segment to perform a more content-aware aggregation of per-state readouts. Experiments on multi-state variants of Gated DeltaNet-1.3B and Mamba-2-780M show that MERLIN consistently outperforms existing aggregation methods on various long-context tasks. In particular, MERLIN outperforms baselines on RULER needle-in-a-haystack and long-context QA (+8.3% for Gated DeltaNet-1.3B and +7.0% for Mamba-2-780M) and diverse subtasks in LongBench (+13.5% and +12.0%). It even outperforms baselines that consume 4x more memory. MERLIN provides a simple and general routing mechanism for improving long-context capabilities of MSLA models.