Towards Data-free and Training-free Compression for Speech Foundation Models Using Parameter Clustering

📄 arXiv: 2606.11836v1 📥 PDF

作者: Haoning Xu, Zhaoqing Li, Huimeng Wang, Youjun Chen, Chengxi Deng, Mengzhe Geng, Xunying Liu

分类: cs.SD, cs.AI, eess.AS

发布日期: 2026-06-10

备注: Accepted by Interspeech 2026

💡 一句话要点

提出无数据和无训练的语音基础模型压缩方法以解决模型体积问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音模型压缩 无数据训练 通道聚类 混合稀疏剪枝 字错误率降低

📋 核心要点

  1. 现有的语音模型压缩方法通常依赖于大量数据和训练，导致计算成本高且效率低。
  2. 本文提出了一种基于通道聚类的压缩方法，能够在不需要数据和训练的情况下实现模型压缩。
  3. 实验结果显示，该方法在多个模型上均实现了显著的字错误率降低，且未增加模型的错误率。

📝 摘要（中文）

本文提出了一种新颖的无数据和无训练的语音基础模型压缩方法，采用通道级聚类技术进行参数聚类。研究还探索了通过层级变化的参数聚类数量实现更细粒度的混合稀疏剪枝。实验结果表明，在HuBERT-large模型上，50%的剪枝稀疏率下，测试集clean和other的字错误率（WER）分别减少了27.73%和18.61%，相较于基于幅度的剪枝方法具有显著优势。经过仅3个epoch的微调后，WER的绝对减少幅度为0.19%和0.79%。在Whisper-large-v3模型上，10%稀疏率下也观察到类似的WER减少效果，且与未压缩基线相比未显著增加WER。

🔬 方法详解

问题定义：本文旨在解决现有语音基础模型压缩方法依赖数据和训练的局限性，导致计算资源消耗高的问题。现有方法在实际应用中难以推广。

核心思路：论文提出通过通道级聚类技术进行参数聚类，采用无数据和无训练的方式进行模型压缩，从而降低计算成本并提高效率。

技术框架：整体架构包括数据预处理、通道聚类、混合稀疏剪枝和模型评估四个主要模块。首先对模型参数进行聚类，然后根据聚类结果进行稀疏剪枝，最后评估模型性能。

关键创新：最重要的技术创新在于提出了无数据和无训练的压缩方法，利用通道级聚类实现了更细粒度的混合稀疏剪枝，这与传统的基于幅度的剪枝方法有本质区别。

关键设计：在参数聚类过程中，采用k-means算法进行通道聚类，设置不同层级的聚类数量以实现混合稀疏剪枝，损失函数设计上考虑了剪枝后的模型性能保持。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，在HuBERT-large模型上，50%剪枝稀疏率下，字错误率分别减少27.73%和18.61%，相较于传统方法具有显著优势。经过微调后，WER的绝对减少幅度为0.19%和0.79%。在Whisper-large-v3模型上，10%稀疏率下也实现了2.86%和5.02%的绝对减少，且未显著增加WER。

🎯 应用场景

该研究的潜在应用领域包括语音识别、语音合成和智能助手等，能够有效降低模型的存储和计算需求，提升在资源受限环境下的应用能力。未来，该方法有望推广至其他深度学习模型的压缩与优化中。

📄 摘要（原文）

This paper presents a novel data-free and training-free compression approach for speech foundation models using channelwise clustering via k-means. More fine-grained, mixed sparsity pruning by layer-level varying number of parameter clusters is also explored. Experiments conducted on the LibriSpeech dataset suggest that when operating with pruning sparsity of 50% on HuBERT-large, consistent WER reductions of 27.73%/18.61% absolute (34.37%/21.91% relative) over the magnitude-based pruning were obtained on the test-clean and test-other subsets before fine-tuning and 0.19%/0.79% absolute (3.36%/4.62% relative) after fine-tuning with only 3 epochs. Similar WER reductions of 2.86%/5.02% absolute (59.21%/55.29% relative) were observed against magnitudebased pruning on Whisper-large-v3 at 10% sparsity, all with no significant WER increase relative to the uncompressed baseline.