Unlocking Speech-Text Compositional Powers: Instruction-Following Speech Language Models without Instruction Tuning

📄 arXiv: 2607.02214 📥 PDF

作者: Congrui Du, Yang Zhang, Kaizhi Qian, Shiyu Chang

分类: cs.CL, eess.AS

发布日期: 2026-07-05

💡 一句话要点

提出SpeechCombine以解决语音语言模型的指令调优问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音语言模型 指令调优 知识转移 多模态学习 深度学习

📋 核心要点

  1. 现有的语音语言模型训练方法难以扩展，主要因为语音序列显著长于文本序列，指令调优面临更大挑战。
  2. 本文提出SpeechCombine，通过一次性语音预训练，避免了对大规模语音数据的依赖，直接结合文本LLM的权重。
  3. 实验结果显示，SpeechCombine有效保留了文本LLM的知识，并成功将其能力转移到语音任务中，展现出良好的性能。

📝 摘要（中文）

语音语言模型（SLMs）的指令调优相比文本大型语言模型（LLMs）更具挑战性，因为它需要学习新的模态和广泛的语音特定指令。现有的SLM训练方法主要通过合成大规模语音预训练和指令调优数据集来复制文本LLM的训练范式，但这一策略难以扩展。本文提出了SpeechCombine，一种无需指令调优的指令跟随语音语言模型，仅通过对3万小时数据进行一次语音预训练。我们从文本LLM基础模型出发，对语音语句进行连续预训练，获得语音适应模型，然后直接将其权重与文本LLM的指令调优和基础版本之间的权重差结合。结果表明，这种简单的组合策略不仅保留了原文本LLM的知识和能力，还有效地将其转移到语音领域。

🔬 方法详解

问题定义：本文旨在解决语音语言模型在指令调优过程中面临的挑战，现有方法依赖于大量语音数据，难以扩展。

核心思路：提出SpeechCombine，通过一次语音预训练，结合文本LLM的权重差异，避免了传统指令调优的复杂性。

技术框架：整体流程包括从文本LLM基础模型出发，进行语音语句的连续预训练，获得语音适应模型，最后结合权重。

关键创新：最重要的创新在于无需指令调优，直接通过权重组合实现知识转移，显著简化了训练过程。

关键设计：在参数设置上，使用了30k小时的语音数据进行预训练，损失函数设计上保持与文本LLM一致，确保知识的有效转移。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SpeechCombine在多个语音任务上表现优异，成功保留了文本LLM的知识，且在性能上相较于传统方法有显著提升，具体数据未提供，但效果显著。

🎯 应用场景

该研究的潜在应用领域包括语音助手、自动语音识别和人机交互等场景。通过简化训练过程，SpeechCombine能够在资源有限的情况下，快速适应多种语音任务，具有实际应用价值和广泛的未来影响。

📄 摘要（原文）

Instruction tuning for speech language models (SLMs) is substantially more challenging than for text-based large language models (LLMs), as it requires learning a new modality and a wide range of speech-specific instructions in addition to those supported by text LLMs. Existing SLM training approaches largely replicate the text LLM training paradigm by synthesizing large-scale speech pre-training and instruction-tuning datasets. However, this strategy is difficult to scale, since speech sequences are significantly longer than text sequences. In this paper, we propose SpeechCombine, an instruction-following speech language model trained without any instruction tuning, using only a single round of speech pre-training on 30k hours of data. Starting from a text LLM base model, we perform continuous pre-training on speech utterances to obtain a speech-adapted model, and then directly combine its weights with the weight difference between the instruction-tuned and base versions of the text LLM. Our results show that this simple combination strategy not only preserves the knowledge and capabilities of the original text LLM, but also effectively transfers them to the speech domain. These findings suggest a new direction for SLM training that avoids reliance on massive speech data.