Sparse-BitNet: 1.58-bit LLMs are Naturally Friendly to Semi-Structured Sparsity

📄 arXiv: 2603.05168v1 📥 PDF

作者: Di Zhang, Xun Wu, Shaohan Huang, Yudong Wang, Hanyong Shao, Yingbo Hao, Zewen Chi, Li Dong, Ting Song, Yan Xia, Zhifang Sui, Furu Wei

分类: cs.CL

发布日期: 2026-03-05

🔗 代码/项目: GITHUB

💡 一句话要点

提出Sparse-BitNet以提升大语言模型的稀疏性与低比特量化效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 低比特量化 稀疏性 N:M稀疏化 模型效率 深度学习

📋 核心要点

  1. 现有方法在处理大型语言模型的稀疏性与低比特量化时，通常缺乏有效的结合，导致效率提升有限。
  2. 本文提出Sparse-BitNet框架，首次将1.58-bit量化与动态N:M稀疏化结合，确保训练过程的稳定性。
  3. 实验结果显示，Sparse-BitNet在多个模型规模下，性能下降幅度小于全精度基线，并实现了高达1.30倍的速度提升。

📝 摘要（中文）

半结构化N:M稀疏性和低比特量化（如1.58-bit BitNet）是提高大型语言模型（LLMs）效率的两种有前景的方法，但它们通常被孤立研究。本文探讨了它们之间的相互作用，表明1.58-bit BitNet与N:M稀疏性比全精度模型更兼容。我们提出了Sparse-BitNet，一个统一框架，首次将1.58-bit量化和动态N:M稀疏化结合应用，同时确保稳定训练。在多个模型规模和训练模式下，1.58-bit BitNet在相同稀疏水平下表现出比全精度基线更小的性能下降，并能容忍更高的结构稀疏性而不导致准确性崩溃。此外，使用自定义稀疏张量核心，Sparse-BitNet在训练和推理中实现了高达1.30倍的速度提升。这些结果表明，将极低比特量化与半结构化N:M稀疏性结合是高效LLMs的有希望方向。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在稀疏性与低比特量化结合应用中的效率问题。现有方法往往将这两者孤立研究，导致无法充分发挥其潜力。

核心思路：Sparse-BitNet框架的核心思路是将1.58-bit量化与动态N:M稀疏化结合，通过优化训练过程来提高模型的效率和稳定性。这样的设计使得低比特量化与稀疏性能够相互促进。

技术框架：Sparse-BitNet的整体架构包括两个主要模块：1.58-bit量化模块和动态N:M稀疏化模块。训练过程中，模型首先进行稀疏预训练，然后采用密集到稀疏的调度策略，以确保训练的稳定性和有效性。

关键创新：本文的关键创新在于首次实现了1.58-bit量化与N:M稀疏化的联合应用，显著提高了模型在高稀疏性下的性能表现，尤其是在准确性保持方面。

关键设计：在模型设计中，采用了自定义的稀疏张量核心，以支持高效的稀疏计算。此外，设置了适当的损失函数和训练策略，以确保在不同稀疏水平下的性能稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Sparse-BitNet在多个模型规模下，性能下降幅度小于全精度基线，并且能够容忍更高的结构稀疏性而不导致准确性崩溃。此外，Sparse-BitNet在训练和推理中实现了高达1.30倍的速度提升，显示出其在效率上的显著优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过提高大型语言模型的效率，Sparse-BitNet能够在资源有限的环境中实现更高效的推理和训练，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Semi-structured N:M sparsity and low-bit quantization (e.g., 1.58-bit BitNet) are two promising approaches for improving the efficiency of large language models (LLMs), yet they have largely been studied in isolation. In this work, we investigate their interaction and show that 1.58-bit BitNet is naturally more compatible with N:M sparsity than full-precision models. To study this effect, we propose Sparse-BitNet, a unified framework that jointly applies 1.58-bit quantization and dynamic N:M sparsification while ensuring stable training for the first time. Across multiple model scales and training regimes (sparse pretraining and dense-to-sparse schedules), 1.58-bit BitNet consistently exhibits smaller performance degradation than full-precision baselines at the same sparsity levels and can tolerate higher structured sparsity before accuracy collapse. Moreover, using our custom sparse tensor core, Sparse-BitNet achieves substantial speedups in both training and inference, reaching up to 1.30X. These results highlight that combining extremely low-bit quantization with semi-structured N:M sparsity is a promising direction for efficient LLMs. Code available at https://github.com/AAzdi/Sparse-BitNet