ROSA: A Robotics Foundation Model Serving System for Robot Factories
作者: Wenqi Jiang, Jason Clemons, Rowland O'Flaherty, Hugo Hadfield, Alperen Degirmenci, Shuran Song, Yashraj Narang, Christos Kozyrakis
分类: cs.RO, cs.DC
发布日期: 2026-07-01
💡 一句话要点
提出ROSA以解决机器人工厂模型服务系统的效率问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人基础模型 共享GPU池 多模型管道 工厂生产力 调度机制 智能制造 边缘计算
📋 核心要点
- 现有的RFM服务系统主要基于单机器人和单模型的假设，导致推理效率低下和资源利用不充分。
- ROSA通过共享GPU池服务和多模型管道设计，提升了机器人推理性能和电池续航能力。
- 实验结果显示，ROSA在生产力上比传统系统提高了12.06倍，显著提升了工厂的整体效率。
📝 摘要（中文）
机器人基础模型（RFM）使得通用机器人在工厂部署中变得愈加实用。现有的RFM服务系统主要基于单机器人、单模型的假设，处理推理时将其视为边缘计算问题，通常由机器人或附近的专用GPU处理，目标是最小化单个动作模型的延迟。本文提出了ROSA，一个为机器人工厂设计的RFM服务系统，围绕共享GPU池服务、多模型管道支持和工厂目标驱动调度等三大原则展开。ROSA在Ray Serve之上实现，使用vLLM、PyTorch和JAX作为模型服务后端，并在真实机器人和合成大规模工作负载上进行了评估，结果表明ROSA在生产力上比传统专用服务系统提高了多达12.06倍。
🔬 方法详解
问题定义：现有的RFM服务系统通常假设单机器人、单模型，导致推理过程中的延迟和资源利用率低下，无法满足现代机器人工厂的需求。
核心思路：ROSA通过共享GPU池服务，允许多个机器人访问强大的服务器级GPU，提升推理性能，并通过多模型管道支持不同任务的性能需求和故障处理。
技术框架：ROSA的整体架构包括共享GPU池、机器人感知编程抽象和基于工厂目标的调度机制。共享GPU池提高了GPU的利用率，而编程抽象和调度机制则优化了任务执行效率。
关键创新：ROSA的主要创新在于其共享GPU池服务和工厂目标驱动的调度策略，这与传统的单模型、单机器人假设形成鲜明对比，能够更好地适应多任务环境。
关键设计：ROSA在设计中使用了Ray Serve进行分布式调度，结合vLLM、PyTorch和JAX作为后端模型服务，确保了系统的灵活性和高效性。
🖼️ 关键图片
📊 实验亮点
ROSA在真实机器人和合成大规模工作负载上的实验结果表明，其生产力比传统专用服务系统提高了多达12.06倍，显著提升了工厂的整体效率，展示了其在实际应用中的巨大潜力。
🎯 应用场景
ROSA的设计适用于现代机器人工厂，能够有效提升多机器人协作的推理效率和生产力。其潜在应用领域包括智能制造、自动化仓储和物流等，未来可能推动机器人技术在工业中的广泛应用。
📄 摘要（原文）
Robotics foundation models (RFMs) are making general-purpose robots increasingly practical for factory deployments. While RFM serving systems are central to this vision, existing systems are largely shaped by a single-robot, single-model assumption: inference is treated as an edge-computing problem handled by an on-robot or dedicated nearby GPU, and the serving objective is to minimize the latency of a single action model. In this paper, we propose ROSA, an RFM serving system for robot factories designed around three key principles. First, ROSA adopts shared GPU-pool serving, allowing a fleet of robots to access powerful server-class GPUs over the network in order to improve inference performance, battery duration, and GPU utilization. Second, ROSA provides a robotics-aware programming abstraction and system design that supports multi-model pipelines, per-task performance requirements, and failure handling. Third, ROSA uses factory-objective-driven scheduling to maximize SLO-qualified factory productivity rather than minimizing individual request latency. We implement ROSA on top of Ray Serve for distributed orchestration, with vLLM, PyTorch, and JAX as model-serving backends, and evaluate it on both real robots and synthetic large-scale workloads. The results show that ROSA improves factory productivity by up to 12.06x over conventional dedicated serving systems.