Unlocking Speech-Text Compositional Powers: Instruction-Following Speech Language Models without Instruction Tuning

📄 arXiv: 2607.02214v1 📥 PDF

作者: Congrui Du, Yang Zhang, Kaizhi Qian, Shiyu Chang

分类: cs.CL, eess.AS

发布日期: 2026-07-02

💡 一句话要点

提出SpeechCombine以解决语音语言模型训练中的指令调优问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音语言模型 指令调优 多模态学习 知识转移 深度学习

📋 核心要点

  1. 现有的语音语言模型训练方法在指令调优方面面临巨大挑战，难以扩展。
  2. 提出SpeechCombine，通过一次性语音预训练，避免了对大规模语音数据的依赖。
  3. 实验结果显示，该方法有效保留了文本LLM的知识，并成功转移至语音领域。

📝 摘要（中文）

语音语言模型（SLMs）的指令调优比文本大语言模型（LLMs）更具挑战性，因为它需要学习新的模态和广泛的语音特定指令。现有的SLM训练方法主要通过合成大规模的语音预训练和指令调优数据集来复制文本LLM的训练范式，但由于语音序列显著长于文本序列，这一策略难以扩展。本文提出了SpeechCombine，一种无需任何指令调优的指令跟随语音语言模型，仅通过对3万小时数据进行一次语音预训练。我们从文本LLM基础模型出发，对语音语句进行连续预训练，以获得适应语音的模型，然后直接将其权重与指令调优和基础版本文本LLM之间的权重差结合。结果表明，这一简单的组合策略不仅保留了原始文本LLM的知识和能力，还有效地将其转移到语音领域。

🔬 方法详解

问题定义：本文旨在解决语音语言模型在指令调优过程中面临的挑战，现有方法难以扩展，尤其是在处理长语音序列时。

核心思路：论文提出的核心思路是通过一次性语音预训练，结合文本LLM的权重差，避免了对大规模语音数据的依赖，从而实现指令跟随能力。

技术框架：整体架构包括从文本LLM基础模型出发，进行语音语句的连续预训练，随后将适应后的模型权重与文本LLM的指令调优权重差进行组合。

关键创新：最重要的技术创新在于提出了一种无需指令调优的训练方法，通过简单的权重组合实现了知识的有效转移，显著区别于现有的依赖大规模语音数据的训练方法。

关键设计：关键设计包括对30k小时的语音数据进行预训练，采用适应性权重组合策略，确保在保留文本LLM知识的同时，增强语音模型的指令跟随能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SpeechCombine在多个基准测试中表现出色，成功保留了文本LLM的知识，并在语音任务上实现了显著提升，具体性能数据和对比基线尚未提供。

🎯 应用场景

该研究的潜在应用领域包括智能语音助手、语音识别系统以及人机交互等场景。通过有效的指令跟随能力，SpeechCombine可以提升语音模型在多种实际应用中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Instruction tuning for speech language models (SLMs) is substantially more challenging than for text-based large language models (LLMs), as it requires learning a new modality and a wide range of speech-specific instructions in addition to those supported by text LLMs. Existing SLM training approaches largely replicate the text LLM training paradigm by synthesizing large-scale speech pre-training and instruction-tuning datasets. However, this strategy is difficult to scale, since speech sequences are significantly longer than text sequences. In this paper, we propose SpeechCombine, an instruction-following speech language model trained without any instruction tuning, using only a single round of speech pre-training on 30k hours of data. Starting from a text LLM base model, we perform continuous pre-training on speech utterances to obtain a speech-adapted model, and then directly combine its weights with the weight difference between the instruction-tuned and base versions of the text LLM. Our results show that this simple combination strategy not only preserves the knowledge and capabilities of the original text LLM, but also effectively transfers them to the speech domain. These findings suggest a new direction for SLM training that avoids reliance on massive speech data.