Towards Data-free and Training-free Compression for Speech Foundation Models Using Parameter Clustering

📄 arXiv: 2606.11836 📥 PDF

作者: Haoning Xu, Zhaoqing Li, Huimeng Wang, Youjun Chen, Chengxi Deng, Mengzhe Geng, Xunying Liu

分类: cs.SD, cs.AI, eess.AS

发布日期: 2026-06-12

💡 一句话要点

提出无数据和无训练的语音基础模型压缩方法以解决模型体积问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音模型压缩 无数据压缩 k均值聚类 稀疏剪枝 字错误率降低

📋 核心要点

  1. 现有的语音模型压缩方法通常依赖于大量数据和训练，导致高昂的计算成本和时间消耗。
  2. 本文提出了一种基于通道聚类的无数据和无训练的压缩方法，通过k均值聚类实现参数的高效压缩。
  3. 在LibriSpeech数据集上的实验结果显示，所提方法在多个模型上均显著降低了字错误率，且未引入显著的性能损失。

📝 摘要（中文）

本文提出了一种新颖的无数据和无训练的语音基础模型压缩方法，采用通道级聚类技术进行k均值聚类。研究还探索了通过层级变化的参数聚类数量实现更细粒度的混合稀疏剪枝。实验结果表明，在HuBERT-large模型上，采用50%的剪枝稀疏度，测试集clean和other的字错误率（WER）分别减少了27.73%和18.61%（绝对值），相较于基于幅度的剪枝方法有显著提升。经过仅3个epoch的微调后，WER的绝对减少幅度为0.19%和0.79%。在Whisper-large-v3模型上，10%稀疏度下也观察到类似的WER减少效果。

🔬 方法详解

问题定义：本文旨在解决现有语音基础模型压缩方法依赖大量数据和训练的问题，这些方法通常导致计算资源的浪费和时间的消耗。

核心思路：论文提出了一种基于通道级聚类的压缩方法，通过k均值聚类实现参数的高效压缩，避免了传统方法的训练需求。

技术框架：整体方法包括数据预处理、k均值聚类、参数剪枝和模型评估四个主要模块。首先对模型参数进行聚类，然后根据聚类结果进行剪枝，最后评估剪枝后的模型性能。

关键创新：最重要的创新点在于提出了无数据和无训练的压缩策略，通过通道聚类实现了更高效的参数利用，与传统的基于幅度的剪枝方法相比，显著提高了压缩效果。

关键设计：在参数聚类过程中，采用了层级变化的聚类数量设计，以实现更细粒度的混合稀疏剪枝。此外，剪枝过程中未使用任何额外的训练数据，确保了方法的高效性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，在HuBERT-large模型上，50%剪枝稀疏度下，字错误率分别减少了27.73%和18.61%（绝对值），在经过3个epoch微调后，WER的绝对减少幅度为0.19%和0.79%。在Whisper-large-v3模型上，10%稀疏度下也实现了2.86%和5.02%的字错误率降低，且未引入显著的性能损失。

🎯 应用场景

该研究的潜在应用领域包括语音识别、语音合成和智能助手等，能够有效降低模型的存储和计算需求，提升部署效率。未来，该方法有望在移动设备和边缘计算场景中得到广泛应用，推动语音技术的普及与发展。

📄 摘要（原文）

This paper presents a novel data-free and training-free compression approach for speech foundation models using channelwise clustering via k-means. More fine-grained, mixed sparsity pruning by layer-level varying number of parameter clusters is also explored. Experiments conducted on the LibriSpeech dataset suggest that when operating with pruning sparsity of 50% on HuBERT-large, consistent WER reductions of 27.73%/18.61% absolute (34.37%/21.91% relative) over the magnitude-based pruning were obtained on the test-clean and test-other subsets before fine-tuning and 0.19%/0.79% absolute (3.36%/4.62% relative) after fine-tuning with only 3 epochs. Similar WER reductions of 2.86%/5.02% absolute (59.21%/55.29% relative) were observed against magnitudebased pruning on Whisper-large-v3 at 10% sparsity, all with no significant WER increase relative to the uncompressed baseline.