Dynamical Memory Transformer: Selective Recurrent Memories with Constant Cost Attention

📄 arXiv: 2610.41850v1 📥 PDF

作者: Yannis Bendi-Ouis, Xavier Hinaut

分类: cs.AI

发布日期: 2026-10-30

💡 一句话要点

提出动态记忆变换器以解决长序列信息检索问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 动态记忆 变换器 长序列处理 信息检索 认知任务 语言建模 自回归推理

📋 核心要点

  1. 现有的变换器模型在处理长序列时，KV-Cache和新令牌的成本随上下文长度增加而显著上升，影响效率。
  2. 动态记忆变换器（DMT）通过将序列编码与信息读取分离，采用动态系统实现记忆单元，优化了信息的存储与检索。
  3. DMT在多个认知任务上取得了最佳结果，语言建模性能接近变换器，但在某些任务上仍不及Mamba，显示出其在特定场景下的优势。

📝 摘要（中文）

变换器模型通过显式历史记录序列，允许注意力机制直接检索过去的表示。然而，KV-Cache的大小和新令牌的成本随着上下文长度的增加而增加。状态空间模型将过去的信息压缩为固定大小的递归状态，但牺牲了可寻址性。本文提出了动态记忆变换器（DMT），一种混合架构，将序列编码与信息读取分离。编码器使用多个记忆单元，每个单元由具有复杂对角递归矩阵的动态系统实现。输入依赖的泄漏率控制其更新。解码器则使用注意力机制读取和组合输出，而无需遍历令牌历史。该模型在自回归推理过程中，递归状态和卷积缓存保持固定大小。实验表明，DMT在认知任务上表现优异，语言建模性能接近变换器，但在语言建模上仍落后于Mamba。

🔬 方法详解

问题定义：本文旨在解决变换器模型在处理长序列时KV-Cache和新令牌成本增加的问题。现有方法在可寻址性和效率上存在不足，影响了模型的性能。

核心思路：动态记忆变换器（DMT）通过将序列编码与信息读取分离，采用多个动态系统实现记忆单元，利用输入依赖的泄漏率控制更新，从而提高信息的存储和检索效率。

技术框架：DMT的整体架构包括编码器和解码器两个主要模块。编码器由多个记忆单元组成，解码器则使用注意力机制读取和组合这些单元的输出，避免了遍历整个令牌历史的过程。

关键创新：DMT的主要创新在于采用了并行动态记忆单元，允许以O(T)的总工作量和O(log T)的并行深度进行关联扫描，这在固定维度下显著提高了效率。

关键设计：在设计上，DMT的递归状态和卷积缓存在自回归推理过程中保持固定大小，确保了模型的稳定性和高效性。

📊 实验亮点

在实验中，DMT在多个认知任务上表现优异，取得了最佳结果，且在语言建模任务上与变换器的性能相近，尽管在某些任务上仍落后于Mamba。DMT在选择性复制任务中展现出更强的长度外推能力，显示出其在特定应用场景下的优势。

🎯 应用场景

动态记忆变换器在自然语言处理、认知计算和序列数据分析等领域具有广泛的应用潜力。其高效的信息存储与检索机制可以提升长序列任务的性能，推动智能助手、对话系统等技术的发展。

📄 摘要（原文）

Transformers retain an explicit history of the sequence, allowing attention to directly retrieve past representations. However, the size of the KV-Cache and the cost of a new token increase with the context length. State Space Models compress the past into a fixed-size recurrent state, at the cost of reduced addressability. We present the Dynamical Memory Transformer (DMT), a hybrid architecture that separates sequence encoding from information reading. The encoder uses several memory units, each implemented by a dynamical system with a complex diagonal recurrent matrix. An input-dependent leak rate controls their updates. The decoder then uses attention to read and combine their outputs, without going through the token history. The formulation of the recurrence allows an associative scan with O(T ) total work and O(log T ) parallel depth, with fixed dimensions. During autoregressive inference, the recurrent states and the convolution cache remain fixed in size. We compare DMT with Mamba and Transformer on cognitive and language modeling tasks, and show its strengths and limitations: DMT achieves the best results on several cognitive tasks and language modeling performance close to that of Transformer, but remains behind Mamba in language modeling. On selective copy, DMT also shows stronger length extrapolation than Mamba and Transformer. These results demonstrate that parallel dynamical memory units are a promising mechanism for retaining and using information over sequences.