COSMIC: Data Efficient Instruction-tuning For Speech In-Context Learning

📄 arXiv: 2311.02248v2 📥 PDF

作者: Jing Pan, Jian Wu, Yashesh Gaur, Sunit Sivasankaran, Zhuo Chen, Shujie Liu, Jinyu Li

分类: cs.CL, cs.AI, eess.AS

发布日期: 2023-11-03 (更新: 2024-06-14)

💡 一句话要点

提出COSMIC以实现高效的语音指令调优

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 语音识别 指令调优 上下文学习 数据效率 自动语音识别 模型集成

📋 核心要点

  1. 现有方法在将语音与大型语言模型结合时，面临数据效率低和模型复杂度高的挑战。
  2. COSMIC通过生成语音理解测试问答对，利用少量语音数据进行有效的指令调优，提升了模型的学习能力。
  3. COSMIC在多个任务中表现出色，尤其是在语音转文本翻译和跨领域适应方面，显著降低了错误率并提高了准确性。

📝 摘要（中文）

我们提出了一种成本效益高的方法，将语音集成到大型语言模型（LLM）中，形成具有指令跟随和上下文学习能力的多模态LLM——COSMIC。利用GPT-3.5，我们从语音转录生成了语音理解测试问答对，用于监督指令调优。COSMIC在不到3000万可训练参数和仅450小时的英语语音数据下，展示了在指令跟随和上下文学习方面的新兴能力。在0-shot英语到其他语言的语音转文本翻译中，COSMIC达到了最高33.18的BLEU分数，并在1-shot设置中显著提升。此外，1-shot跨领域适应的平均相对词错误率（WER）降低了25.8%。由于其指令跟随能力，COSMIC在上下文偏置任务中表现出显著的自动语音识别（ASR）准确性提升。

🔬 方法详解

问题定义：本论文旨在解决将语音有效集成到大型语言模型中的问题，现有方法通常需要大量数据和复杂模型，导致训练成本高昂。

核心思路：COSMIC的核心思路是通过生成语音理解测试问答对，利用少量语音数据进行指令调优，从而提高模型的指令跟随和上下文学习能力。

技术框架：COSMIC的整体架构包括数据生成模块、指令调优模块和评估模块。数据生成模块利用GPT-3.5从语音转录生成问答对，指令调优模块则基于这些数据进行模型训练，最后通过评估模块验证模型性能。

关键创新：COSMIC的主要创新在于其数据高效性和低参数需求，能够在仅使用450小时的语音数据和不到3000万的可训练参数下，达到较高的性能水平。

关键设计：在模型设计中，COSMIC采用了特定的损失函数和网络结构，以优化指令跟随能力，并在训练过程中进行了精细的参数调整，以确保模型在多模态任务中的表现。

🖼️ 关键图片

fig_0

📊 实验亮点

COSMIC在0-shot英语到其他语言的语音转文本翻译中达到了最高33.18的BLEU分数，并在1-shot设置中显著提升。此外，1-shot跨领域适应的平均相对词错误率（WER）降低了25.8%，显示出其在自动语音识别任务中的显著优势。

🎯 应用场景

COSMIC的研究成果具有广泛的应用潜力，尤其是在智能助手、语音翻译和教育领域。通过提高语音理解和生成的准确性，COSMIC可以为用户提供更自然的交互体验，推动多模态人工智能的发展。未来，该技术还可能扩展到更多语言和领域，提升全球沟通的效率。

📄 摘要（原文）

We present a cost-effective method to integrate speech into a large language model (LLM), resulting in a Contextual Speech Model with Instruction-following/in-context-learning Capabilities (COSMIC) multi-modal LLM. Using GPT-3.5, we generate Speech Comprehension Test Question-Answer (SQA) pairs from speech transcriptions for supervised instruction tuning. With under 30 million trainable parameters and only 450 hours of English speech data, COSMIC demonstrates emerging capabilities in instruction-following and in-context learning. Equipped with such capabilities, COSMIC achieves a maximum 33.18 BLEU score in 0-shot EN-to-X speech to text translation (S2TT) and a significant boost in the 1-shot setting. Additionally, there is an average 25.8\% relative Word Error Rate (WER) reduction for 1-shot cross-domain adaptation. COSMIC exhibits a significant automatic speech recognition (ASR) accuracy gain in contextual biasing tasks due to its instruction-following capability.