Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM
作者: Sergii Kozyrev, Davyd Maiboroda
分类: cs.AI
发布日期: 2026-09-03
备注: 14 pages, 2 figures, 6 tables. Quantized checkpoint: https://huggingface.co/minima-ai/mnma_qwen3.8_27b_nvfp4
🔗 代码/项目: HUGGINGFACE
💡 一句话要点
提出NVFP4 W4A4以解决混合27B LLM的4位量化问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 混合LLM 量化方法 Gated DeltaNet 自然语言处理 模型优化 深度学习 性能提升
📋 核心要点
- 现有的4位量化方法未能有效处理Gated DeltaNet模块，导致性能损失。
- 提出NVFP4 W4A4方法，通过量化所有线性层来提高模型的性能和效率。
- 实验结果表明，Minima在多个基准测试中表现出色，且在模型大小和速度上具有优势。
📝 摘要（中文）
混合LLM结合了softmax注意力与线性注意力层，如Gated DeltaNet（GDN），其递归状态以固定大小总结上下文。早期的4位量化尝试未能有效量化GDN模块，尤其是其衰减和写入强度门。本文通过构建Minima：NVFP4 W4A4，在所有496个线性层上进行测试，结果显示在多个基准测试中，Minima的表现与BF16相当，同时在模型大小和预填充速度上具有优势。通过四个部分的机制研究，本文解释了为何GDN在量化过程中表现良好，并提出了一种实用的量化方案。
🔬 方法详解
问题定义：本文旨在解决混合LLM中Gated DeltaNet模块在4位量化时的性能损失问题。现有方法在量化过程中未能有效处理GDN模块，尤其是其衰减和写入强度门，导致错误积累。
核心思路：论文提出NVFP4 W4A4方法，通过在所有496个线性层上进行量化，旨在提高模型的整体性能和效率。该设计基于对递归状态的噪声处理能力的理解。
技术框架：整体架构包括对GDN模块的量化处理，采用16元素块缩放来局部化残差流的极端异常值，并通过四个部分的机制研究来解释其有效性。
关键创新：最重要的技术创新在于通过量化所有线性层而非仅限于GDN模块，从而实现了更均衡的激活误差，显著提升了模型的鲁棒性和性能。
关键设计：在参数设置上，采用softplus/exponential和sigmoid参数化方法，压缩了GEMM误差，并通过delta-rule递归保持注入噪声的平稳性，确保在长上下文中性能稳定。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Minima在多个基准测试中与BF16的表现相当，5任务平均误差为-0.52，同时在模型大小（17.5 GiB）和预填充速度上提升了14-19%。32K困惑度差距随着位置的变化而缩小，表明量化效果的稳定性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和其他需要高效模型的AI应用。通过优化量化过程，能够在资源受限的环境中部署大型语言模型，提升实际应用的可行性和效率。
📄 摘要（原文）
Hybrid LLMs pair softmax attention with linear-attention layers such as Gated DeltaNet (GDN), whose recurrent state summarizes the context in fixed size. Early community 4-bit quantizations of Qwen3.8-27B (48 GDN layers, 16 attention layers) left the GDN block in 8- or 16-bit precision -- especially its decay and write-strength gates -- on the intuition that errors in a recurrence accumulate over long contexts. We test that intuition by building Minima: NVFP4 W4A4 on all 496 linear layers, GDN included. Across perplexity at 4K/32K, MMLU-Pro, GSM8K, AIME'25, GPQA-Diamond, LiveCodeBench, and RULER retrieval to 64K, Minima matches BF16 within seed noise (5-task average -0.52) while being the smallest (17.5 GiB) and fastest-prefill (+14-19%) recipe we compare, and its 32K perplexity gap shrinks with position. A four-part mechanism study explains why: (i) NVFP4's 16-element block scaling localizes the residual stream's extreme outliers, equalizing activation error across layer roles; (ii) the supposedly fragile gate projections are the least sensitive -- softplus/exponential and sigmoid parameterizations compress ~11% GEMM error to ~2% output error; (iii) the delta-rule recurrence holds injected noise at a flat plateau over 32K tokens and forgets a state impulse within hundreds of steps, because each write overwrites the state along the current key direction; (iv) the per-token quantization cost washes out with context instead of compounding. We also repair a global-scale mismatch that arises when per-module-calibrated NVFP4 checkpoints are served by kernels that fuse those modules into one GEMM, and show calibrated FP8 KV-cache scales are performance-free. The result: a practical recipe -- quantize everything, ship KV scales -- and a mechanistic account of why the recurrent half of a hybrid LLM is the easy half to quantize. Checkpoint: https://huggingface.co/minima-ai/mnma_qwen3.8_27b_nvfp4