Distil-Whisper: Robust Knowledge Distillation via Large-Scale Pseudo Labelling
作者: Sanchit Gandhi, Patrick von Platen, Alexander M. Rush
分类: cs.CL, cs.SD, eess.AS
发布日期: 2023-11-01
备注: 30 pages, 2 figures, 25 tables
💡 一句话要点
提出Distil-Whisper以解决大规模语音识别模型的资源限制问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语音识别 模型蒸馏 伪标签 实时应用 深度学习
📋 核心要点
- 现有的大规模语音识别模型在低延迟和资源受限环境中运行面临挑战，尤其是在实时应用中。
- 本文提出了Distil-Whisper，通过伪标签技术构建大规模数据集，蒸馏出更小的模型以提高效率。
- 实验结果表明，Distil-Whisper在速度和参数上有显著提升，同时保持了高准确性和鲁棒性。
📝 摘要（中文）
随着预训练语音识别模型规模的增加，在低延迟或资源受限环境中运行这些大型模型变得具有挑战性。本文利用伪标签技术构建了一个大规模开源数据集，用于将Whisper模型蒸馏为一个更小的变体Distil-Whisper。通过简单的字错误率（WER）启发式方法，我们选择了最高质量的伪标签进行训练。蒸馏后的模型速度提高了5.8倍，参数减少了51%，在零-shot迁移设置下对分布外测试数据的WER误差仅为1%。Distil-Whisper在困难的声学条件下保持了Whisper模型的鲁棒性，同时在长音频上更不易出现幻觉错误。该模型设计为与Whisper配对进行推测解码，实现了2倍的速度提升，同时数学上确保与原始模型相同的输出。为促进该领域的进一步研究，我们公开了训练代码、推理代码和模型。
🔬 方法详解
问题定义：本文旨在解决大规模语音识别模型在低延迟和资源受限环境中的应用问题。现有的Whisper模型虽然性能优越，但其庞大的参数量和计算需求使其难以在实时场景中使用。
核心思路：通过伪标签技术构建一个大规模的开源数据集，选择高质量的伪标签进行训练，从而蒸馏出一个更小的模型Distil-Whisper，以提高模型的运行效率和适应性。
技术框架：整体流程包括数据集构建、伪标签选择、模型蒸馏和推测解码四个主要阶段。首先，通过伪标签生成大量训练数据，然后使用这些数据训练Distil-Whisper模型，最后与Whisper模型结合进行推测解码以提高速度。
关键创新：最重要的技术创新在于通过伪标签选择高质量数据进行训练，使得蒸馏后的模型在保持准确性的同时显著减少了计算资源的需求。这一方法与传统的蒸馏技术相比，能够更有效地利用数据。
关键设计：在模型蒸馏过程中，采用了简单的字错误率（WER）启发式方法来筛选伪标签，确保训练数据的高质量。此外，Distil-Whisper的设计还考虑了与Whisper模型的兼容性，以实现推测解码的速度提升。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Distil-Whisper在速度上提升了5.8倍，参数减少了51%，并且在零-shot迁移设置下对分布外测试数据的字错误率（WER）仅为1%。此外，该模型在长音频处理上更不易出现幻觉错误，展现出良好的鲁棒性。
🎯 应用场景
Distil-Whisper的研究成果在语音识别、语音助手、实时翻译等领域具有广泛的应用潜力。通过降低模型的计算需求，该技术能够使得高性能语音识别系统在移动设备和边缘计算环境中得以实现，推动智能语音技术的普及与发展。
📄 摘要（原文）
As the size of pre-trained speech recognition models increases, running these large models in low-latency or resource-constrained environments becomes challenging. In this work, we leverage pseudo-labelling to assemble a large-scale open-source dataset which we use to distill the Whisper model into a smaller variant, called Distil-Whisper. Using a simple word error rate (WER) heuristic, we select only the highest quality pseudo-labels for training. The distilled model is 5.8 times faster with 51% fewer parameters, while performing to within 1% WER on out-of-distribution test data in a zero-shot transfer setting. Distil-Whisper maintains the robustness of the Whisper model to difficult acoustic conditions, while being less prone to hallucination errors on long-form audio. Distil-Whisper is designed to be paired with Whisper for speculative decoding, yielding a 2 times speed-up while mathematically ensuring the same outputs as the original model. To facilitate further research in this domain, we make our training code, inference code and models publicly accessible.