PhyAI: Real-Time Physical AI at the Edge, Scalable Rollouts in the Cloud
作者: Chenghua Wang, Daliang Xu, Dongqi Cai, Duojin Sun, Hao Zhang, Haoze Qian, Huaiyuan Zhang, Jinshuo Cui, Kezhao Zhao, Longxi Gao, Mengwei Xu, Rongjie Yi, Tianyue Zhang, Weikai Xie, Xiyuan Tan, Xuanzhe Liu, Yingying Qin, Yiwen Lu, Yuan Yao, Yuezhi Zu, Yunhan Guo, Ziqi Guo
分类: cs.AI, cs.RO
发布日期: 2026-08-04
备注: 25 pages, 9 figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出PhyAI以统一物理AI推理流程，提高实时性能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 物理AI 推理引擎 实时性能 多模态模型 边缘计算 云端服务 GPU加速
📋 核心要点
- 现有物理AI推理方法依赖于多个不同的推理程序，导致效率低下和资源浪费。
- PhyAI通过构建一个统一的推理引擎，整合了不同环境下的推理需求，优化了模型适配和执行效率。
- 实验表明，PhyAI在多个GPU上实现了显著的速度提升，尤其是在延迟方面，表现出色。
📝 摘要（中文）
物理AI策略在其生命周期内需要进行推理，包括模型评估、云端强化学习、边缘GPU服务和机载部署。现有方法通常依赖于不同的推理程序。为了解决这一问题，本文提出了PhyAI，一个物理AI推理引擎，通过单一运行时统一了不同环境下的推理需求。PhyAI在多个GPU上运行视觉-语言-动作模型和世界-动作模型，显著提高了推理速度，并减少了延迟。实验结果显示，PhyAI在多个基准测试中实现了1.40x至4.65x的速度提升。
🔬 方法详解
问题定义：现有的物理AI推理方法通常依赖于不同的推理程序，导致在模型评估、云端强化学习和边缘设备部署等场景下效率低下和资源浪费。
核心思路：PhyAI通过构建一个统一的推理引擎，使用单一运行时来处理不同的推理需求，保持架构特定的条件、求解器、缓存和输出逻辑在模型适配器中，同时共享图执行、内核、内存管理和并行服务。
技术框架：PhyAI的整体架构包括模型适配器、图执行模块、内存管理模块和并行服务模块。模型适配器负责处理不同模型的特定需求，而其他模块则提供高效的资源管理和执行支持。
关键创新：PhyAI的主要创新在于其统一的推理引擎设计，使得不同模型可以在同一代码库下高效运行，显著提高了推理速度和降低了延迟。与现有方法相比，PhyAI在多个GPU上实现了更高的并行处理能力。
关键设计：在设计中，PhyAI采用了适配器接口来支持新模型的快速集成，并通过详细的性能分析优化了执行策略，确保在不同批量大小下的高效推理。
🖼️ 关键图片
📊 实验亮点
在实验中，PhyAI在多个基准测试中实现了1.40x至4.65x的速度提升，特别是在Cosmos3-Nano-Policy-DROID上，延迟从2.46秒减少到1.18秒，达到了2.08x的速度提升。这些结果表明，PhyAI在不同配置下的推理效率显著优于现有实现。
🎯 应用场景
PhyAI的研究成果在机器人控制、自动驾驶、智能监控等领域具有广泛的应用潜力。通过提高物理AI的推理效率，能够实现更快速的决策和响应，从而提升系统的整体性能和可靠性。未来，PhyAI还可以扩展到更多的实时应用场景，推动智能设备的普及和发展。
📄 摘要（原文）
Physical AI policies require inference throughout their lifecycle, including model evaluation, cloud reinforcement learning rollout, edge GPU serving, and onboard deployment. Although these settings share the same checkpoint and action semantics, they often rely on separate inference programs. To unify them, we build PhyAI, a Physical AI inference engine with a single runtime that keeps architecture-specific conditioning, solver, cache, and output logic in model adapters while sharing graph execution, kernels, memory management, and parallel services. The same codebase runs vision-language-action (VLA) models and world-action models (WAMs) on single or multiple GPUs across onboard, edge, and cloud deployments. We used the adapter interface to add MiniCPM-Robot on the day of its release. PhyAI achieves 1.40x-4.65x speedups over the official implementations of pi0, pi0.5, GR00T N1.7, and MiniCPM-Robot. On Cosmos3-Nano-Policy-DROID it reduces latency from 2.46 to 1.18 s on eight H20 GPUs (CFG=2, TP=4), a 2.08x speedup. Specialized runtimes remain faster in several configurations, so our goal is one runtime with competitive latency rather than the fastest result in every case. Detailed profiles reveal why different models need different execution policies: on a Hopper-series GPU at batch size one, the pi0.5 action expert accounts for 8.8% of FLOPs but 57.2% of latency; at batch size 32 its share drops to 13.5% and throughput reaches about 100 samples/s. Cosmos3 remains generation-dominated and gains only 14.3% throughput as batch size increases from 1 to 16. We further introduce the control-time Roofline, which distinguishes inference-bound from environment-bound control; the measured pi0.5 points on four LIBERO suites are environment-bound while Cosmos3 stays inference-bound. Code and benchmarks: https://github.com/mingti-org/phyai.