M*: A Modular, Extensible, Serving System for Multimodal Models
作者: Atindra Jha, Naomi Sagan, Keisuke Kamahori, Irmak Sivgin, Rohan Sanda, Steven Gao, Mark Horowitz, Luke Zettlemoyer, Olivia Hsu, Jure Leskovec, Baris Kasikci, Stephanie Wang
分类: cs.LG, cs.AI, cs.DC
发布日期: 2026-06-12
💡 一句话要点
提出M*以解决多模态模型服务效率问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态模型 模型服务 数据流图 模块化设计 分布式优化
📋 核心要点
- 现有模型服务框架基于狭窄的模型结构假设，难以适应多模态模型的复杂性和多样性。
- M*通过将模型表示为数据流图，支持任意模型组件的组合和灵活的物理集群放置，提供高效的服务。
- 实验结果显示，M*在多个任务上显著降低延迟和提升吞吐量，尤其在文本到图像和文本到语音任务中表现突出。
📝 摘要（中文）
我们正进入一个复合模型架构的新纪元，这些架构整合了视觉编码器、语言骨干、扩散和流头、音频编解码器、动作生成器和世界模型预测器等多种组件。这些架构支撑了广泛的多模态模型，包括统一多模态模型、全能模型、语音语言模型、视觉语言动作策略和世界模型。然而，现有的模型服务框架基于狭窄的模型结构假设，难以适应这种新的架构多样性。本文提出了M，一个通用的服务系统，用于高效服务复合AI模型。M将模型表示为数据流图，处理跨越不同模态和任务的请求。核心思想是一个模块化抽象，支持模型组件的任意组合、灵活的物理集群放置以及分布式运行时中的模型无关优化。我们在代表性模型上实例化M，发现其在文本到图像工作负载上比vLLM-Omni平均降低20%的端到端延迟，在文本到语音工作负载上实现高达2.9倍的实时因子降低和2.7倍的吞吐量提升。M还在机器人规划中超越了V-JEPA 2-AC基线，提升幅度达到12.5倍。因此，我们的工作为更高效地服务复杂模型铺平了道路，且开发者的工作量最小化。
🔬 方法详解
问题定义：本文旨在解决现有模型服务框架无法适应多模态模型架构多样性的问题。现有方法通常基于狭窄的模型结构假设，导致服务效率低下。
核心思路：M的核心思路是将模型表示为数据流图，允许灵活组合不同的模型组件，并在分布式环境中进行优化。通过这种方式，M能够高效处理跨模态和任务的请求。
技术框架：M*的整体架构包括数据流图表示、模块化组件组合、物理集群的灵活放置以及分布式运行时优化。每个模块都可以独立优化，从而提高整体服务效率。
关键创新：M*的最重要创新在于引入了Walk Graph抽象，能够简洁地捕捉来自广泛模型家族的复合模型。这一设计使得模型组件的组合更加灵活，并且支持模型无关的优化。
关键设计：M*在实现中采用了特定的参数设置和优化策略，以确保在不同任务和模态下的高效性能。具体的损失函数和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，M在文本到图像工作负载上比vLLM-Omni平均降低20%的端到端延迟，同时在文本到语音工作负载上实现高达2.9倍的实时因子降低和2.7倍的吞吐量提升。此外，M在机器人规划任务中超越了V-JEPA 2-AC基线，提升幅度达到12.5倍。
🎯 应用场景
M的研究成果具有广泛的应用潜力，尤其在需要处理多模态数据的领域，如自动驾驶、智能助手和机器人规划等。通过提高服务效率，M能够降低开发者的工作负担，促进复杂AI模型的实际应用和推广。
📄 摘要（原文）
We are entering a new era of composite model architectures that integrate diverse components such as vision encoders, language backbones, diffusion and flow heads, audio codecs, action generators, and world-model predictors. Such architectures underpin a broad class of multimodal models, including unified multimodal models, omni models, speech-language models, vision-language-action policies, and world models. However, existing model serving frameworks were built on narrow assumptions about model structure, making them ill-suited to accommodate this new architectural diversity. Here we present M, a universal serving system for efficient serving of composite AI models. M represents models as dataflow graphs, processing requests spanning diverse modalities and tasks as traversals over these graphs. The core insight is a modular abstraction that supports arbitrary composition of model components, flexible placement onto a physical cluster, and model-agnostic optimizations within a distributed runtime. We call this abstraction the Walk Graph and show how it can concisely capture composite models from a broad range of families. We instantiate M on representative models and find that it achieves, on average, 20% lower end-to-end latency than vLLM-Omni for text-to-image workloads on BAGEL, while delivering up to 2.9x lower real-time factor and 2.7x higher throughput for text-to-speech workloads on Qwen3-Omni. M also outperforms the V-JEPA 2-AC rollout baseline for robotic planning by up to 12.5x. Thus, our work paves the road towards more efficient serving of complex models with minimal developer effort.