LinQuant: Functional Invariances for Low-Precision Linear Recurrences

📄 arXiv: 2610.39418v1 📥 PDF

作者: Neehal Tumma, Philipp Nazari, Rohan Cherukuri, Daniela Rus, T. Konstantin Rusch

分类: cs.LG

发布日期: 2026-10-29

备注: 35 pages, 16 figures. Code: https://github.com/ntumm120/LinQuant

💡 一句话要点

提出LinQuant框架以解决低精度线性递归推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低精度推理 线性递归 量化方法 功能不变性 大型语言模型 模型优化 计算效率

📋 核心要点

  1. 现有的低精度推理方法在处理线性递归时存在脆弱性，难以保持计算精度。
  2. LinQuant框架通过识别和利用功能不变性，优化低精度递归预填充，增强量化操作的鲁棒性。
  3. 在Mamba-2和Nemotron-H模型上，LinQuant显著提高了困惑度，验证了其在实际应用中的有效性。

📝 摘要（中文）

线性递归作为大型语言模型中软最大注意力的实用替代方案，逐渐受到关注。然而，与软最大注意力相比，低精度推理在这些模型中的发展仍然滞后。本文提出LinQuant框架，通过识别功能不变性来优化低精度递归预填充，确保在量化操作中保持全精度计算。我们展示了七种不变性，包括旋转、对角缩放等，并验证了它们在不同递归家族中的有效性。实验结果表明，LinQuant在Mamba-2和Nemotron-H模型上显著提高了困惑度，展示了基于不变性的量化在递归模型中的实际应用价值。

🔬 方法详解

问题定义：本文旨在解决线性递归模型在低精度推理中的脆弱性，现有方法在量化操作时容易导致计算精度下降。

核心思路：通过识别保持全精度计算的功能不变性，LinQuant框架使得量化操作更为稳健，从而提升低精度推理的准确性。

技术框架：LinQuant框架基于七种不变性设计，包括旋转、对角缩放等，适用于多种递归模型。框架的整体流程包括不变性识别、量化操作优化和性能评估。

关键创新：LinQuant的核心创新在于通过功能不变性提升低精度推理的鲁棒性，与传统方法相比，能够在保持计算精度的同时实现更高的量化效率。

关键设计：在设计中，LinQuant考虑了不同递归家族的特性，确保不变性在各类模型中的有效性，并通过调整参数设置和损失函数来优化性能。

📊 实验亮点

LinQuant在Mamba-2 1.3B、2.7B和8B以及Nemotron-H 8B模型上显著提高了困惑度，验证了其在低延迟条件下的有效性，展示了基于不变性的量化方法在递归模型中的实际应用价值。

🎯 应用场景

LinQuant框架在大型语言模型的低精度推理中具有广泛的应用潜力，特别是在需要高效计算和资源受限的场景中。其优化的量化方法可以有效提升模型在实际应用中的表现，推动更高效的AI系统发展。

📄 摘要（原文）

Linear recurrences are emerging as practical alternatives to softmax attention in large language models, appearing in both standalone and hybrid architectures. However, despite their rapid emergence, low-precision inference remains much less developed for these models than for softmax attention. During prefill, chunkwise-parallel algorithms cast much of the recurrence as dense matrix multiplications, suggesting a natural path to low-precision execution. Simply quantizing these operations in their native form, however, can be fragile. In this work, we identify functional invariances that preserve the full-precision computation while making the operands more amenable to quantization. Building on this observation, we introduce LinQuant, a framework for low-precision recurrent prefill based on seven such invariances, including rotations, diagonal rescalings, and alternative placements of recurrent decay and write factors. We derive when these transformations remain valid across common recurrence families spanning linear, gated, and delta-rule updates, and show that they provide complementary degrees of freedom for improving low-precision accuracy. Finally, we translate this framework to production by augmenting SSDi8, an existing low-precision prefill pipeline for Mamba-2, with the applicable invariances. LinQuant improves perplexity at matched latency on Mamba-2 1.3B, 2.7B, and 8B and Nemotron-H 8B, demonstrating the practical utility of invariance-based quantization for recurrent models.