Post-Training Ternarization of Qwen3-4B Capability, Effective Bit Budget, Storage Compression, and Deployment

📄 arXiv: 2609.01962v1 📥 PDF

作者: Anirudh Malik, M Sparsh Mehra, Poojith Devan

分类: cs.AI, cs.LG

发布日期: 2026-09-02

备注: Weight-only post-training ternarization of a 4B-parameter instruction-tuned language model. Activation quantization and end-to-end generation throughput are outside the scope of the primary evaluation

💡 一句话要点

提出后训练三值化方法以优化Qwen3-4B模型的存储与部署

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 超低比特模型 后训练三值化 存储压缩 模型部署 自然语言处理

📋 核心要点

  1. 现有超低比特语言模型在存储和运行效率上存在不足，尤其是对能力和表现的描述不够全面。
  2. 本文提出了一种后训练三值化方法，通过KOTMS旋转和E2M-ATQ三值化技术来优化Qwen模型的存储和性能。
  3. 实验结果显示，模型的有效比特数为1.641，准确率有所下降，但模型大小显著减少，且困惑度变化不大。

📝 摘要（中文）

超低比特语言模型能够减少存储和内存带宽，但名义上的“1.58比特”标签并未充分描述存储表示、保留能力或运行时行为。本文研究了Qwen模型的端到端后训练转换，采用KOTMS旋转、E2M-ATQ三值化和TWLA的GPTQ风格误差补偿。实验仅针对权重进行，激活保持16位精度。最终转换使用每个权重1.641有效比特，目标参数达到81.62%。在十项能力比较中，准确率从64.5%降至54.7%。后续打包运行保留了三值平面和比例，将模型大小从8.29 GiB减少至3.96 GiB，困惑度基本不变。

🔬 方法详解

问题定义：本文旨在解决超低比特语言模型在存储和运行效率上的不足，尤其是如何准确描述模型的能力和表现。现有方法未能全面反映模型的实际运行情况。

核心思路：通过后训练的三值化方法，结合KOTMS旋转和E2M-ATQ三值化技术，优化Qwen模型的存储和性能，确保在减少存储需求的同时尽量保留模型的能力。

技术框架：整体流程包括模型的后训练转换、权重的三值化处理以及误差补偿。主要模块包括KOTMS旋转、E2M-ATQ三值化和GPTQ风格的误差补偿。

关键创新：最重要的创新在于提出了一种有效的后训练三值化方法，能够在保持模型性能的同时显著降低存储需求，与现有方法相比，提供了更高的存储效率和更低的模型大小。

关键设计：在参数设置上，最终转换使用每个权重1.641有效比特，目标参数达到81.62%。激活保持在16位精度，确保了模型的运行效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，模型的有效比特数为1.641，准确率从64.5%降至54.7%。在困惑度方面，WikiText-2的困惑度从13.639上升至18.748，模型大小从8.29 GiB减少至3.96 GiB，显示出显著的存储压缩效果。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过优化模型的存储和部署，能够在资源受限的环境中实现更高效的推理，具有重要的实际价值和未来影响。

📄 摘要（原文）

Ultra-low-bit language models can reduce storage and memory bandwidth, but a nominal "1.58-bit" label does not fully describe the stored representation, retained capability, or runtime behavior. We study an end-to-end post-training conversion of Qwen, an instruction-tuned 4B-parameter model, using KOTMS rotation, E2M-ATQ ternarization, and GPTQ-style error compensation from TWLA. The experiment is weight-only: activations remain at 16-bit precision, so ILA-AMP is omitted. We evaluate effective bit accounting, task capability retention, perplexity, calibration sensitivity, checkpoint composition, and deployment behavior. The final conversion uses 1.641 effective bits per weight for quantized linear weights, with 81.62% of model parameters targeted. Across ten scored capability comparisons, accuracy falls from 64.5% to 54.7%. Degradation is uneven: BoolQ retains 84.6% chance-corrected teacher performance, while ARC-Challenge retains 43.8%. Perplexity rises from 13.639 to 18.748 on WikiText-2, 24.700 to 31.992 on PTB, and 19.831 to 28.966 on C4. A subsequent packing run preserves the ternary planes and scales, reducing reported model size from 8.29 GiB to 3.96 GiB with essentially unchanged perplexity. A separate third-party packing attempt was lossy and is excluded from the primary artifact claim. The packed artifact has not been benchmarked end-to-end for task accuracy or generation throughput. A preliminary Triton GEMV microbenchmark is 4.6x slower than FP16 cuBLAS on one tested shape. We therefore do not claim that compression alone yields faster inference.