An Efficient vLLM-Based Inference Pipeline for Unified Audio Understanding and Generation

📄 arXiv: 2607.02119 📥 PDF

作者: Haoran Wang, Jinchuan Tian, Siddhant Arora, Shinji Watanabe

分类: eess.AS, cs.AI

发布日期: 2026-07-05

💡 一句话要点

提出基于vLLM的推理管道以解决多模态生成问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态生成 语音理解 自回归解码 延迟模式 声学解码器 高吞吐量推理 开源框架

📋 核心要点

  1. 现有的高吞吐量推理引擎缺乏对多模态生成的支持，尤其是在语音生成中，导致生成过程与标准循环不兼容。
  2. 本文提出了一种基于vLLM的推理管道，扩展了自回归解码以支持延迟模式去交错和多流采样，集成了GPU声学解码器。
  3. 实验结果表明，采用新方法后，CFG的实现保持了80%的吞吐量，显著减少了双请求和logit合并的开销。

📝 摘要（中文）

尽管大型多模态模型在理解方面表现出色，但高吞吐量推理引擎缺乏对多模态生成的原生支持，尤其是在语音语言模型中，生成多层音频标记的过程与标准单流循环存在冲突。本文提出了一种基于vLLM的推理管道，旨在实现统一的语音理解与生成。我们扩展了自回归解码，能够原生执行延迟模式去交错和协调多流采样，并集成了一个GPU上的声学解码器以实现端到端波形合成。重要的是，我们克服了“无分类器引导（CFG）会将吞吐量减半”的普遍认知，通过在连续批处理中共同调度成对的条件和无条件请求，我们的CFG实现保持了80%的非CFG吞吐量，吸收了双请求和logit合并的开销。我们将框架开源。

🔬 方法详解

问题定义：本文旨在解决现有多模态生成模型在高吞吐量推理时的局限性，尤其是在语音生成任务中，生成多层音频标记的过程与标准单流循环存在冲突，导致效率低下。

核心思路：论文的核心思路是提出一种基于vLLM的推理管道，通过扩展自回归解码来原生支持延迟模式去交错和协调多流采样，从而提高多模态生成的效率。

技术框架：整体架构包括多个模块，首先是自回归解码的扩展，其次是延迟模式去交错的实现，最后是集成的GPU声学解码器，形成一个端到端的波形合成流程。

关键创新：最重要的技术创新在于通过共同调度成对的条件和无条件请求，克服了CFG对吞吐量的负面影响，使得在保持高吞吐量的同时实现了多模态生成。

关键设计：在设计中，关键参数设置包括延迟模式的处理方式和多流采样的协调机制，损失函数和网络结构经过优化以支持高效的音频生成。具体细节包括logit合并的实现方式和双请求的调度策略。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，采用新提出的vLLM推理管道后，CFG的实现保持了80%的非CFG吞吐量，显著提高了多模态生成的效率，减少了双请求和logit合并的开销，展示了该方法在实际应用中的优越性。

🎯 应用场景

该研究的潜在应用领域包括语音助手、自动语音识别和生成、以及多模态交互系统等。通过提高多模态生成的效率，能够在实时应用中提供更流畅的用户体验，未来可能推动智能设备的普及和应用场景的扩展。

📄 摘要（原文）

While Large Multimodal Models excel in comprehension, high-throughput inference engines lack native support for multimodal generation. This is severe in Speech Language Models, where generating multi-layered audio tokens via decoupled AR+NAR or synchronous Multi-Token Prediction (MTP) with delay-pattern interleaving conflicts with standard single-stream loops. We present a vLLM-based inference pipeline for unified speech understanding and generation. We extend autoregressive decoding to natively execute delay-pattern de-interleaving and coordinated multi-stream sampling, integrating an on-GPU acoustic decoder for end-to-end waveform synthesis. Crucially, we overcome the shared intuition that Classifier-Free Guidance (CFG) halves throughput. By co-scheduling paired conditional and unconditional requests within a continuous batch, our CFG implementation sustains 80% of non-CFG throughput, absorbing dual-request and logit merging overheads. We open-source our framework.