An Efficient vLLM-Based Inference Pipeline for Unified Audio Understanding and Generation

📄 arXiv: 2607.02119v1 📥 PDF

作者: Haoran Wang, Jinchuan Tian, Siddhant Arora, Shinji Watanabe

分类: eess.AS, cs.AI

发布日期: 2026-07-02

💡 一句话要点

提出基于vLLM的推理管道以解决多模态音频理解与生成问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态生成 语音理解 自回归解码 无分类器引导 音频合成

📋 核心要点

  1. 现有的多模态推理引擎在生成方面支持不足，尤其是在语音生成中存在延迟模式交错的问题。
  2. 本文提出了一种基于vLLM的推理管道，扩展自回归解码以实现延迟模式去交错和多流采样的协调。
  3. 实验结果表明，本文的CFG实现保持了80%的非CFG吞吐量，显著提升了推理效率。

📝 摘要（中文）

尽管大型多模态模型在理解方面表现出色，但高吞吐量推理引擎缺乏对多模态生成的原生支持。尤其在语音语言模型中，通过解耦的自回归与非自回归或同步多标记预测生成多层音频标记时，延迟模式交错与标准单流循环之间存在冲突。本文提出了一种基于vLLM的推理管道，实现统一的语音理解与生成。我们扩展了自回归解码，以原生执行延迟模式去交错和协调多流采样，并集成了GPU上的声学解码器以实现端到端波形合成。重要的是，我们克服了“无分类器引导（CFG）会降低吞吐量”的普遍认知，通过在连续批处理中共同调度配对的条件和无条件请求，我们的CFG实现保持了80%的非CFG吞吐量，吸收了双请求和logit合并的开销。我们开源了该框架。

🔬 方法详解

问题定义：本文旨在解决现有多模态推理引擎在音频生成中的不足，特别是延迟模式交错与单流循环之间的冲突问题。

核心思路：通过扩展自回归解码，论文提出了一种新方法来原生执行延迟模式去交错和协调多流采样，从而提高音频生成的效率。

技术框架：整体架构包括多个模块：首先是自回归解码的扩展，其次是延迟模式去交错的实现，最后集成了GPU上的声学解码器以支持端到端的波形合成。

关键创新：最重要的创新在于通过共同调度条件和无条件请求，克服了无分类器引导（CFG）降低吞吐量的传统认知，保持了高效的推理性能。

关键设计：在设计中，采用了连续批处理的方式来调度请求，确保了吞吐量的提升，同时在参数设置和损失函数上进行了优化，以适应多流采样的需求。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，本文提出的推理管道在吞吐量上实现了80%的非CFG吞吐量，显著提高了多模态生成的效率。与传统方法相比，双请求和logit合并的开销得到了有效吸收，展现出优越的性能。

🎯 应用场景

该研究的潜在应用领域包括语音助手、自动语音识别和生成系统等，能够显著提升多模态音频处理的效率与质量。未来，该框架有望在实时音频生成和理解任务中发挥重要作用，推动相关技术的发展。

📄 摘要（原文）

While Large Multimodal Models excel in comprehension, high-throughput inference engines lack native support for multimodal generation. This is severe in Speech Language Models, where generating multi-layered audio tokens via decoupled AR+NAR or synchronous Multi-Token Prediction (MTP) with delay-pattern interleaving conflicts with standard single-stream loops. We present a vLLM-based inference pipeline for unified speech understanding and generation. We extend autoregressive decoding to natively execute delay-pattern de-interleaving and coordinated multi-stream sampling, integrating an on-GPU acoustic decoder for end-to-end waveform synthesis. Crucially, we overcome the shared intuition that Classifier-Free Guidance (CFG) halves throughput. By co-scheduling paired conditional and unconditional requests within a continuous batch, our CFG implementation sustains 80% of non-CFG throughput, absorbing dual-request and logit merging overheads. We open-source our framework.