Benchmarking Trustworthiness of SLMs: Pre-trained vs. Compressed

📄 arXiv: 2608.11981v1 📥 PDF

作者: Haokun Lin, Kaijie Zhu, Haobo Xu, Yichen Wu, Zhichao Lu, Qingfu Zhang, Zhenan Sun

分类: cs.CL

发布日期: 2026-08-12

备注: Published in IJCNN 2026

💡 一句话要点

评估小型语言模型的可信度：预训练与压缩的比较

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 小型语言模型 量化 修剪 知识蒸馏 可信度评估 自然语言处理 模型压缩

📋 核心要点

  1. 现有的小型语言模型构建方法在可信度保障方面仍显不足，尤其是在公平性和鲁棒性等维度上。
  2. 本文提出通过量化压缩大型预训练模型的方法，以提高小型语言模型的可信度和适应性。
  3. 实验结果表明，量化方法显著优于修剪，且压缩后的SLMs在多个可信度指标上表现更佳。

📝 摘要（中文）

小型语言模型（SLMs）作为传统大型语言模型（LLMs）的高效替代方案，在资源受限的场景中展现出良好潜力。本文全面评估了SLMs在公平性、鲁棒性、隐私和伦理等多个维度的可信度。研究发现，相较于修剪，量化在保持可信度方面更为有效。此外，通过量化压缩可靠的大型模型，可以获得比从头训练的小型模型更具可信度和适应性的SLMs。知识蒸馏也能进一步提升SLMs的可靠性，为未来的可信小型语言模型的开发和部署提供了实用指导。

🔬 方法详解

问题定义：本文旨在解决小型语言模型在实际应用中可信度不足的问题，现有方法如修剪和量化对模型的影响尚未得到充分研究。

核心思路：通过比较量化和修剪对小型语言模型可信度的影响，提出量化作为更有效的压缩手段，并探索从可靠的大型模型中进行知识蒸馏以提升小型模型的性能。

技术框架：研究首先对小型语言模型的可信度进行多维度评估，随后实施量化和修剪实验，最后通过知识蒸馏进一步优化模型。

关键创新：本研究的创新在于首次系统性地比较了量化和修剪对小型语言模型可信度的影响，并证明了量化压缩大型模型的优势。

关键设计：在实验中，采用了不同的量化策略和修剪比例，评估了模型在公平性、鲁棒性和隐私保护等方面的表现，确保了实验结果的可靠性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，量化方法在保持模型可信度方面显著优于修剪，压缩后的SLMs在公平性、鲁棒性和隐私保护等指标上均有明显提升，尤其是通过知识蒸馏进一步增强了模型的可靠性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能客服、教育技术等，尤其是在资源受限的环境中，可信的小型语言模型能够提供高效的解决方案。未来，随着对模型可信度的重视，本文的研究成果将为相关领域的技术发展提供重要参考。

📄 摘要（原文）

Small Language Models (SLMs) have emerged as a more efficient alternative to traditional Large Language Models (LLMs), offering promising potential in resource-constrained scenarios. Existing approaches to building SLMs typically follow two paths: training compact models from scratch, or compressing larger pre-trained models using methods such as pruning, quantization, or distillation. As language models become increasingly integrated into real-world applications, ensuring their trustworthiness has become a critical concern. However, how to build trustworthy SLMs remains an underexplored question. In this work, we present a comprehensive evaluation of SLM trustworthiness across multiple dimensions, including fairness, robustness, privacy, and ethics. We first examine the effects of pruning and quantization, and find that quantization is significantly more effective in preserving trustworthiness compared to pruning. More importantly, we demonstrate that compressing a reliable large model via quantization can produce SLMs with superior trustworthiness and adaptability compared to using small models trained from scratch. Furthermore, knowledge distillation from trustworthy teacher models can further enhance the reliability of SLMs. We hope our findings provide practical guidance and a foundation for future research into the development and deployment of trustworthy small language models.