Q-Strata: Hierarchical Bit Allocation for Mixed-Precision Quantization of Mixture-of-Experts LLMs

📄 arXiv: 2608.30564v1 📥 PDF

作者: Deokjae Lee, Sihun Chu, Hyun Oh Song

分类: cs.LG, cs.AI

发布日期: 2026-08-31

备注: EMNLP 2026 Long Paper - Main Conference

🔗 代码/项目: GITHUB

💡 一句话要点

提出Q-Strata以优化混合精度量化中的位宽分配问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 混合精度量化 位宽分配 混合专家模型 模型优化 自然语言处理 深度学习

📋 核心要点

  1. 现有的混合精度量化方法在处理混合专家模型时面临分配空间过大的挑战，无法有效优化模型性能。
  2. Q-Strata通过双层分配机制，首先在块内进行候选排名，然后在块间优化模型级目标，从而实现更高效的位宽分配。
  3. 在Mixtral-8x7B-Instruct等模型上，Q-Strata在低位宽条件下显著降低了WikiText2的困惑度，优于现有的量化方法。

📝 摘要（中文）

混合精度量化（MPQ）为大型语言模型（LLM）的每个线性层分配不同的位宽，以在固定预算下最小化量化引起的质量损失。然而，混合专家（MoE）模型在每个MoE块的每个专家中都包含这些层，导致分配空间远大于密集模型。现有方法要么在每个块内以统一的每块预算进行分配，要么通过加法代理在块间分配，均未能直接优化模型级目标。本文提出Q-Strata，一种双层分配器，通过廉价代理对块内分配进行排名，并通过在组装的量化模型上评估的模型级目标进行跨块分配。实验结果表明，Q-Strata在低位宽条件下的WikiText2困惑度优于均匀位宽的GPTQ和最先进的MoE MPQ方法MxMoE和GEMQ。

🔬 方法详解

问题定义：本文旨在解决混合专家模型中混合精度量化的位宽分配问题。现有方法在处理每个块的预算时，未能有效捕捉块间的耦合关系，导致性能损失。

核心思路：Q-Strata的核心思路是采用双层分配机制，首先在每个块内使用廉价代理进行候选排名，然后在块间优化模型级目标，以更好地捕捉块间的相互影响。

技术框架：Q-Strata的整体架构分为内外两个阶段。内阶段缓存每个块的Pareto前沿候选，外阶段则为每个块设置一个预算，而不是为每个线性层设置位宽。

关键创新：Q-Strata的主要创新在于其双层分配策略，能够直接优化模型级目标，克服了现有方法中加法代理无法捕捉的块间耦合问题。

关键设计：在参数设置上，内阶段通过细致的预算划分生成候选，外阶段则通过优化模型级目标来确定每个块的预算，确保了量化模型的整体性能。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，Q-Strata在Mixtral-8x7B-Instruct、Qwen1.5-MoE-A2.7B和DeepSeek-V2-Lite等模型上，WikiText2困惑度显著低于均匀位宽的GPTQ和最先进的MoE MPQ方法MxMoE和GEMQ，验证了其在低位宽条件下的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等大型语言模型的优化。通过有效的位宽分配，Q-Strata能够在资源受限的环境中提升模型性能，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Mixed-precision quantization (MPQ) assigns a different bitwidth to each linear layer of a large language model (LLM) to minimize the quantization-induced quality loss under a fixed budget, but Mixture-of-Experts (MoE) models contain these layers in every expert of every MoE block, so the allocation space grows far larger than in a dense model. Existing methods either allocate within each block under a uniform per-block budget, or allocate across blocks through an additive proxy, and neither directly optimizes a model-level objective over the choices that couple the blocks. We propose Q-Strata, a bi-level allocator that ranks within-block assignments with a cheap proxy and allocates across blocks with a model-level objective evaluated on the assembled quantized model. Its inner stage caches a Pareto frontier of candidates per block over finely spaced budgets, leaving the outer stage to set one budget per block instead of a bitwidth for every linear layer. With the search reduced to one budget per block, the outer stage optimizes this model-level objective directly, capturing the inter-block coupling that additive proxies miss. On Mixtral-8x7B-Instruct, Qwen1.5-MoE-A2.7B, and DeepSeek-V2-Lite, Q-Strata consistently achieves lower WikiText2 perplexity than uniform-bitwidth GPTQ and the state-of-the-art MoE MPQ methods MxMoE and GEMQ in the low-bit regime. The code is available at https://github.com/snu-mllab/Q-Strata/tree/main.