CARVE: Content-Aware Recurrent with Value Efficiency for Chunk-Parallel Linear Attention

📄 arXiv: 2606.27229v1 📥 PDF

作者: Sayak Dutta

分类: cs.CL, cs.AI, cs.LG, cs.NE

发布日期: 2026-06-25

备注: 27 pages, 2 figures, multiple tables. Submitted to arXiv. Primary category: cs.LG; cross-list: cs.CL

💡 一句话要点

提出CARVE以解决记忆盲区问题和参数浪费

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 递归模型 记忆管理 内容感知 参数效率 自然语言处理 常识推理 模型优化

📋 核心要点

  1. 现有的递归模型在记忆管理上存在盲区，无法有效决定何时遗忘，导致参数浪费和性能下降。
  2. CARVE通过在关键轴上进行遗忘，利用递归输出张量作为内容信号，简化了写门的设计，从而提高了效率。
  3. 在1.3B参数的设置下，CARVE在WikiText上取得了15.72的困惑度，超越了GDN-2，并在多个基准测试中表现优异。

📝 摘要（中文）

现有的递归模型在记忆管理上存在缺陷，无法有效地决定何时遗忘。本文提出CARVE（内容感知递归与价值效率），通过仅在关键轴上进行遗忘，解决了这一问题。CARVE在1.3B参数下训练100B个token，取得了WikiText困惑度15.72，超越了GDN-2，并在多个常识推理基准上领先，展现出更低的内存占用和更少的参数需求。

🔬 方法详解

问题定义：现有的递归模型（如GDN-2）在记忆管理上存在盲区，无法有效决定何时遗忘，导致参数浪费和性能下降。尤其是，值轴的擦除掩码浪费了大量参数，并且限制了递归训练的竞争力。

核心思路：CARVE的核心思想是仅在关键轴上进行遗忘，这一设计被证明是保持WY形式求解器有效性的必要和充分条件。通过利用递归输出张量作为内容信号，CARVE能够更有效地管理记忆。

技术框架：CARVE的整体架构包括三个主要模块：内容信号生成、擦除门设计和写门简化。内容信号来自于已经写入GPU内存的递归输出，擦除门仅在关键轴上进行操作，写门则通过每个头部的单一标量进行简化。

关键创新：CARVE的最重要创新在于其擦除机制的设计，避免了现有方法的记忆盲区，显著提高了模型的效率和性能。与GDN-2相比，CARVE在设计上更为简洁且有效。

关键设计：CARVE在初始化时与GDN-2完全相同，任何质量差异均来自内容门的学习。其参数设置和损失函数经过精心设计，以确保模型在训练过程中的稳定性和表达能力。具体而言，CARVE在内存占用和参数数量上均有显著降低。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

CARVE在1.3B参数下训练100B个token，取得了WikiText困惑度15.72，较GDN-2降低了0.18，表现出4.5个标准差的显著效果。此外，CARVE在九个常识推理基准上领先，并在每个RULER检索探针上设定了新的性能标准，同时实现了0.4%的吞吐量开销、13%的内存峰值降低和19%的参数减少。

🎯 应用场景

CARVE的设计使其在自然语言处理、机器翻译和常识推理等领域具有广泛的应用潜力。其高效的记忆管理和较低的资源消耗使得在大规模数据集上训练成为可能，未来可能推动更复杂模型的开发与应用。

📄 摘要（原文）

Recurrent models must forget in order to remember, yet the state of the art decides what to erase without consulting what is stored -- the gate sees only the arriving token, not the memory it is about to modify. This memory-blind gating is one of three coupled defects in the leading delta-rule architecture (GDN-2): the value-axis erase mask wastes parameters at the scale of the value projection, and -- as we prove -- mathematically prevents the WY-form triangular chunk solver that makes recurrent training competitive with Transformers. We introduce CARVE (Content-Aware Recurrent with Value Efficiency), which resolves all three problems through one principle: erase only on the key axis. This is provably necessary and sufficient for the WY-form solver to remain valid. Within it, CARVE reuses the recurrent output tensor -- already written to GPU memory -- as a free content signal for the erase gate, and replaces the per-value write-gate projection with a single scalar per head. At initialisation CARVE is bit-identical to GDN-2; any quality difference emerges from what the content gate learns. At 1.3B parameters trained on 100B tokens, CARVE achieves WikiText perplexity 15.72 (minus 0.18 vs. GDN-2, a 4.5-sigma effect), leads every recurrent baseline on nine common-sense reasoning benchmarks, and sets state of the art on every RULER retrieval probe -- at 0.4% throughput overhead, 13% lower peak memory, and 19% fewer parameters. Six formal theorems cover memory capacity, Lyapunov stability, gradient flow, expressivity separation, Pareto-optimal chunk size, and hybrid optimality.