FP4Quant: Efficient 4-Bit Communication Compression for Model-Parallel LLM Training

📄 arXiv: 2611.04323v1 📥 PDF

作者: Man Liu, Xingchen Liu, Hairui Zhao, Guangming Tan, Dingwen Tao

分类: cs.AI

发布日期: 2026-11-03

备注: 5 figures, 3 tables, accepted by IFIP NPC 2026

💡 一句话要点

提出FP4Quant以解决大规模语言模型训练中的通信瓶颈问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大规模语言模型 通信压缩 低精度量化 模型并行训练 GPU优化

📋 核心要点

  1. 现有低精度压缩方法在降低通信成本方面有效，但在超低位格式（如FP4）中面临数值范围和计算成本的挑战。
  2. FP4Quant通过微分组双尺度FP4量化机制和warp协作FP4打包方案，旨在高效保留张量分布特征并优化数据表示。
  3. 在NVIDIA H100 GPU上进行的实验显示，FP4Quant在Qwen-7B模型上实现了1.56倍的吞吐量提升，展现出良好的性能表现。

📝 摘要（中文）

随着大规模语言模型（LLMs）的快速扩展，通信开销已成为分布式模型并行训练中的关键瓶颈。尽管现有的低精度压缩方法能够有效降低通信成本，但将通信足迹进一步降低到超低位格式（如FP4）带来了新的挑战，包括有限的数值范围、子字节存储开销以及由于细粒度量化引起的计算成本增加。本文提出了FP4Quant，一个微分组FP4压缩框架，旨在高效地进行模型并行LLM训练。FP4Quant集成了微分组双尺度FP4量化机制，以保留局部张量分布特征，采用warp协作FP4打包方案以实现高效的子字节数据表示，并通过混合两级FWHT管道来减轻量化误差，结合GPU感知执行优化。实验结果表明，在NVIDIA H100 GPU上，FP4Quant在Qwen-7B模型上实现了比BF16高出1.56倍的端到端吞吐量提升，揭示了吞吐量与模型质量之间的权衡。

🔬 方法详解

问题定义：本文旨在解决在大规模语言模型训练中，通信开销成为瓶颈的问题。现有低精度压缩方法虽然有效，但在超低位格式（如FP4）中面临数值范围有限和计算成本增加的挑战。

核心思路：FP4Quant的核心思路是通过微分组量化和warp协作打包来优化数据表示，保留张量的局部分布特征，从而提高通信效率和模型训练性能。

技术框架：FP4Quant的整体架构包括三个主要模块：微分组双尺度FP4量化机制、warp协作FP4打包方案和混合两级FWHT管道。前者用于量化，后者用于高效数据表示，最后一个模块则用于减轻量化误差。

关键创新：FP4Quant的关键创新在于其微分组量化和warp协作打包的结合，这与现有方法相比，能够更好地保留张量的局部特征并减少通信开销。

关键设计：在设计中，FP4Quant采用了双尺度量化策略，以适应不同的张量分布，同时在打包方案中实现了子字节存储，优化了计算效率。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，FP4Quant在NVIDIA H100 GPU上对Qwen-7B模型的端到端吞吐量提升达1.56倍，相较于BF16表现出显著的性能优势，展示了其在模型训练中的有效性。

🎯 应用场景

该研究的潜在应用领域包括大规模语言模型的训练和部署，尤其是在资源受限的环境中。FP4Quant的高效通信压缩技术能够显著降低训练成本，提高模型训练的速度和效率，具有广泛的实际价值和未来影响。

📄 摘要（原文）

The rapid scaling of large language models (LLMs) has made communication overhead a critical bottleneck in distributed model-parallel training. Although existing low-precision compression methods can effectively reduce communication costs, further reducing the communication footprint to ultra-low-bit formats such as FP4 introduces new challenges, including limited numerical range, sub-byte storage overhead, and increased computational cost from fine-grained quantization. In this paper, we present \textbf{FP4Quant}, a micro-grouped FP4 compression framework for efficient model-parallel LLM training. FP4Quant integrates a micro-grouped dual-scale FP4 quantization mechanism to preserve local tensor distribution characteristics, a warp-cooperative FP4 packing scheme to enable efficient sub-byte data representation, and a hybrid two-level FWHT pipeline to mitigate quantization errors with GPU-aware execution optimization. Experiments on NVIDIA H100 GPUs with Qwen-7B demonstrate up to 1.56$\times$ end-to-end throughput improvement over BF16, revealing a trade-off between throughput and model quality.