Long-Context Modeling via GSS-Transformer Hybrid Architecture with Learnable Mixing

📄 arXiv: 2606.16093v1 📥 PDF

作者: Kuzey Torlak, Hüseyin Arda Arslan, Anıl Dervişoğlu, Beyza Nur Deniz, Onur Boyar

分类: cs.CL, cs.AI

发布日期: 2026-06-15

备注: 16 pages, 9 tables, 4 figures

💡 一句话要点

提出并行混合架构以解决长范围依赖建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长范围依赖 自然语言处理 Transformer 状态空间模型 并行混合架构 信息检索 模型效率 深度学习

📋 核心要点

  1. 现有的Transformer模型在处理长序列时计算复杂度高，导致效率低下，而状态空间模型在信息检索上存在瓶颈。
  2. 本文提出的并行混合架构（PHA）通过将不同模型作为独立分支并进行可学习融合，允许每个分支专注于特定任务。
  3. 在WikiText-103上，PHA在125M参数下实现了16.51的PPL，优于Hedgehog和H3-125M，且在180M参数下进一步提升至16.42，显示出显著的效率优势。

📝 摘要（中文）

建模长范围依赖性是自然语言处理中的核心挑战。尽管Transformer架构通过自注意力机制取得了良好性能，但其在序列长度上呈现平方级别的复杂度，而状态空间模型（SSMs）则以线性复杂度运行，但在信息检索上存在瓶颈。为了解决这些问题，本文提出了并行混合架构（PHA），该架构将门控状态空间（GSS）、分组查询注意力（GQA）和前馈网络（FFNs）作为独立的并行分支，通过可学习的混合机制进行融合。实验结果表明，PHA在WikiText-103和OpenWebText数据集上均优于现有基线，展示了在长上下文语言建模中的高效性。

🔬 方法详解

问题定义：本文旨在解决长范围依赖建模中的效率与准确性之间的权衡。现有的Transformer模型在处理长序列时计算复杂度为$O(N^2)$，而状态空间模型虽然复杂度为$O(N)$，但在信息检索上存在选择性回忆的瓶颈。

核心思路：提出的并行混合架构（PHA）通过将GSS、GQA和FFNs作为独立的并行分支进行融合，允许每个分支专注于其特定任务，从而提高模型的整体性能和效率。

技术框架：PHA的整体架构包括三个主要模块：门控状态空间（GSS）用于捕获全局上下文，分组查询注意力（GQA）用于选择性信息检索，前馈网络（FFN）提供补充处理。各模块通过可学习的混合机制进行融合。

关键创新：PHA的最大创新在于将不同的序列建模范式分离为并行专家，而不是强迫SSMs近似注意力或将两者串行化。这种设计使得模型在保持Transformer级别的困惑度的同时，显著提高了长上下文建模的效率。

关键设计：在参数设置上，PHA在125M和180M参数下分别实现了16.51和16.42的PPL，且在长上下文处理时提供了24%的吞吐量提升和高达40%的内存使用降低。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在WikiText-103数据集上，PHA在125M参数下实现了16.51的PPL，优于Hedgehog的16.70和H3-125M的23.70。在180M参数下，PHA进一步提升至16.42，且在长上下文处理时提供了24%的吞吐量提升和高达40%的内存使用降低，显示出显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的长文本生成、机器翻译和对话系统等。通过提高长上下文建模的效率，PHA能够在实际应用中显著提升模型的响应速度和准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Modeling long-range dependencies remains a central challenge in natural language processing. Transformer architectures achieve strong performance via self-attention but scale quadratically ($O(N^2)$) with sequence length, while State Space Models (SSMs) scale linearly ($O(N)$) but suffer from a selective recall bottleneck, struggling to retrieve precise information from compressed states. This creates a fundamental tradeoff between efficiency and perplexity. To tackle these challenges, we propose the \textit{Parallel Hybrid Architecture (PHA)}, which runs Gated State Spaces (GSS), Grouped Query Attention (GQA), and Feed-Forward Networks (FFNs) as independent parallel branches fused by a learnable mixing mechanism. Instead of forcing SSMs to approximate attention or serializing the two paradigms, PHA allows each branch to specialize: GSS captures global context, while attention performs selective retrieval, with FFN providing complementary processing. On WikiText-103, PHA achieves 16.51 PPL at 125M parameters, outperforming Hedgehog (16.70) and H3-125M (23.70). Scaling to 180M parameters yields 16.42 PPL, which gives comparable results with the pure attention baseline while delivering 24\% higher throughput and up to 40\% lower memory usage at long contexts. On OpenWebText, our 125M model achieves 19.72 PPL, outperforming standard Transformers (20.60) and GSS hybrid baselines (19.80). These results demonstrate that separating sequence modeling paradigms into parallel specialists enables Transformer-level perplexity with substantially improved efficiency for long-context language modeling.