On Subquadratic Architectures: From Applications to Principles
作者: Anamaria-Roberta Hartl, Levente Zólyomi, David Stap, Pieter-Jan Hoedt, Niklas Schmidinger, Lukas Hauzenberger, Sebastian Böck, Günter Klambauer, Sepp Hochreiter
分类: cs.LG
发布日期: 2026-06-10
💡 一句话要点
提出xLSTM以解决变换器模型的计算复杂性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 子二次架构 序列建模 xLSTM 状态跟踪 记忆动态 计算复杂性 深度学习
📋 核心要点
- 现有的变换器模型由于其二次注意力机制，导致计算成本高昂，限制了其在复杂任务中的应用。
- 本文提出xLSTM作为一种子二次架构，通过改进状态跟踪和记忆动态来提升序列建模的性能。
- 实验结果显示，xLSTM在代码模型预训练、蒸馏和时间序列基础模型预训练任务中表现优异，整体性能最强。
📝 摘要（中文）
变换器在现代序列建模中占据主导地位，但其二次注意力机制带来了巨大的计算成本。子二次架构提供了一种可扩展的替代方案，但尚不清楚哪些设计能够产生最有效的序列模型。本文比较了三种领先的方法：xLSTM、Mamba-2和Gated DeltaNet，并在具有复杂依赖关系的任务上进行了评估。结果表明，xLSTM在整体性能上表现最佳。为了解释xLSTM的优势，本文提出了统一的公式，并分析了其架构机制，重点关注状态跟踪和记忆动态。研究结果表明，xLSTM通过其门控机制实现了更灵活和稳定的记忆修正。
🔬 方法详解
问题定义：本文旨在解决变换器模型在序列建模中由于二次注意力机制导致的高计算复杂性问题。现有方法在处理复杂依赖关系时效率低下，难以满足实际应用需求。
核心思路：论文提出xLSTM作为一种子二次架构，旨在通过改进状态跟踪和记忆动态来提升模型的灵活性和稳定性，从而在复杂任务中取得更好的性能。
技术框架：xLSTM的整体架构包括状态跟踪模块、门控机制和记忆动态模块。通过这些模块，xLSTM能够有效管理和修正记忆状态，适应不同的输入序列。
关键创新：xLSTM的主要创新在于其门控机制，使得模型能够实现更灵活的记忆修正。这一设计与传统的变换器模型形成鲜明对比，后者在处理长序列时容易出现信息遗失和不稳定性。
关键设计：在xLSTM中，关键参数设置包括门控的阈值和记忆更新策略。此外，损失函数的设计也考虑了状态跟踪的准确性，以确保模型在复杂任务中的有效性。整体网络结构经过优化，以适应不同长度的输入序列。
🖼️ 关键图片
📊 实验亮点
实验结果表明，xLSTM在代码模型预训练、蒸馏和时间序列基础模型预训练任务中表现最佳，相较于其他方法，性能提升显著，尤其在处理复杂依赖关系的任务中，展现出更强的稳定性和灵活性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、代码生成、时间序列预测等。xLSTM的设计能够有效降低计算成本，提高模型在复杂任务中的表现，具有广泛的实际价值和未来影响，尤其是在需要处理长序列和复杂依赖关系的场景中。
📄 摘要（原文）
Transformers dominate modern sequence modeling, but their quadratic attention incurs substantial computational cost. Subquadratic architectures offer a scalable alternative. However, it remains unclear which designs yield the most effective sequence models. We compare three leading approaches: xLSTM, Mamba-2, and Gated DeltaNet. We evaluate these models on tasks with complex dependencies: (1) code-model pre-training, (2) distillation of code models from large language models, and (3) pre-training of time-series foundation models. Across these settings, xLSTM delivers the strongest overall performance. To explain xLSTM's advantage, we present a unified formulation and analyze the underlying architectural mechanisms, focusing on state tracking and memory dynamics. Our results show that xLSTM enables more flexible and stable memory correction via its gating scheme. We corroborate these findings on controlled synthetic length-generalization tasks. Overall, our findings indicate that xLSTM's gains on complex tasks stem from robust state tracking and accumulation.