Quantization Effects on Bangla Language Understanding in Large Language Models: A Systematic Evaluation

📄 arXiv: 2608.24615v1 📥 PDF

作者: Ismail Hossain, Nafi Ullah Shafin, Mohammad Abdullah Al Mumin

分类: cs.CL

发布日期: 2026-08-25

备注: 8 pages, 1 table, 1 appendix

💡 一句话要点

系统评估量化对孟加拉语理解的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 量化技术 孟加拉语处理 大型语言模型 自然语言理解 模型评估 低资源语言 推理任务

📋 核心要点

  1. 现有研究主要集中在英语基准上，缺乏对孟加拉语等低资源语言的量化影响评估。
  2. 本文通过对三种模型家族在不同量化格式下的系统评估，填补了这一研究空白。
  3. 实验结果显示，GPT-OSS在推理任务中准确率下降显著，而Qwen和LLaMA在某些情况下表现优于全精度模型。

📝 摘要（中文）

后训练量化降低了大型语言模型的内存占用并加速推理，因此在设备端部署中变得普遍。然而，关于量化对孟加拉语等形态复杂、资源稀缺语言的影响尚不明确。本文评估了三种模型家族在不同量化格式下的表现，发现模型架构和量化方法的选择对性能影响显著，尤其是在推理密集型任务中。结果表明，量化在孟加拉语部署中是可行的，但选择合适的模型和量化方法至关重要。

🔬 方法详解

问题定义：本文旨在探讨后训练量化对孟加拉语理解的影响，现有方法主要基于英语基准，缺乏对低资源语言的系统评估。

核心思路：通过对三种大型语言模型在不同量化格式下的表现进行比较，分析量化对孟加拉语自然语言理解的具体影响。

技术框架：研究评估了Qwen-2.5-7B、LLaMA-3.1-8B和GPT-OSS-20B三种模型，采用全精度和三种量化格式（GPTQ-Int8、GPTQ-Q8、GGUF-W8A16），在五个孟加拉语基准上进行零-shot评估。

关键创新：这是首次对孟加拉语自然语言理解中量化格式进行控制比较，揭示了不同模型在量化后的表现差异。

关键设计：实验中使用了多种量化格式，重点关注推理密集型任务的表现，特别是在GGUF-W8A16格式下，GPT-OSS模型的准确率下降高达57.35%。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，GPT-OSS在推理密集型任务中准确率下降高达57.35%，而Qwen和LLaMA在某些情况下的量化版本表现优于全精度版本。BoolQ-BN任务在所有模型中表现稳定，显示出量化在孟加拉语部署中的潜力。

🎯 应用场景

该研究为在资源受限的硬件上部署孟加拉语大型语言模型提供了重要参考，尤其是在移动设备和边缘计算场景中。通过优化模型架构和量化方法，可以有效提升低资源语言的自然语言处理能力，推动相关应用的发展。

📄 摘要（原文）

Post-training quantization lowers the memory footprint of Large Language Models (LLMs) and speeds up inference, which is why it is now common for on-device deployment. Most of what we know about its effects, however, comes from English benchmarks. It is not clear whether the same holds for morphologically complex, low-resource languages such as Bangla, and this gap is what we address here. We evaluate three model families---Qwen-2.5-7B, LLaMA-3.1-8B, and GPT-OSS-20B---in full precision and in three quantized formats (GPTQ-Int8, GPTQ-Q8, GGUF-W8A16) across five Bangla natural language understanding benchmarks (Bangla MMLU, CommonsenseQA-BN, OpenBookQA-BN, PIQA-BN, and BoolQ-BN), using zero-shot evaluation through lm-evaluation-harness. To our knowledge this is the first controlled comparison of quantization formats on Bangla NLU. The three families do not respond the same way: GPT-OSS loses up to 57.35% accuracy on reasoning-heavy tasks under GGUF-W8A16, while Qwen and LLaMA hold steady under GPTQ, and in a few cases the quantized version edges out the full-precision one. BoolQ-BN, a comprehension task, stays stable across all three families regardless of format. Taken together, these results suggest quantization can work well for Bangla deployment, but the choice of architecture and quantization method matters more than the bit width alone. We discuss what this means for practitioners choosing a model to run on constrained hardware.