Embodied.cpp: A Portable Inference Runtime of Embodied AI Models on Heterogeneous Robots
作者: Ling Xu, Chuyu Han, Borui Li, Hao Wu, Shiqi Jiang, Ting Cao, Chuanyou Li, Sheng Zhong, Shuai Wang
分类: cs.RO, cs.CV, cs.OS
发布日期: 2026-07-05
💡 一句话要点
提出Embodied.cpp以解决异构机器人上嵌入式AI模型部署问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 嵌入式AI 异构机器人 推理运行时 多速率执行 延迟优先推理 模块化设计 视觉-语言-动作模型 世界-动作模型
📋 核心要点
- 现有推理运行时无法满足嵌入式AI模型在异构设备上的高效部署需求，存在碎片化和性能瓶颈。
- 本文提出了Embodied.cpp，一个可移植的C++推理运行时，支持多速率执行和延迟优先的推理，解决了现有方法的局限性。
- 实验表明，VLA模型的任务成功率分别达到100.0%和91.0%，WAM基准测试中内存使用量显著降低，提升了部署效率。
📝 摘要（中文）
嵌入式AI模型涵盖视觉-语言-动作（VLA）模型和世界-动作模型（WAM），但实际部署在模型特定的Python栈、后端假设和机器人侧的连接代码上仍然存在碎片化问题。现有推理运行时主要针对请求-响应服务设计，无法满足嵌入式部署的运行时契约。本文提出了一个可移植的C++推理运行时，旨在解决这些问题。该运行时通过对代表性VLA模型和WAM的架构分析，组织成五层结构，支持模块化的多速率执行、延迟优先的融合推理以及可扩展的操作符和I/O支持。实验结果显示，该运行时在VLA模型和WAM基准测试中均取得了显著的成功率和内存优化。
🔬 方法详解
问题定义：本文旨在解决嵌入式AI模型在异构机器人上的部署问题，现有方法存在碎片化和性能不足，无法满足多速率执行和延迟优先的需求。
核心思路：提出一个可移植的C++推理运行时，通过分析VLA和WAM模型的架构，设计出一个五层结构，支持模块化和可扩展的执行路径。
技术框架：整体架构包括输入适配器、序列构建器、主干执行、头插件和部署适配器五个主要模块，确保在异构设备上高效执行。
关键创新：最重要的创新在于提供了模块化的多速率执行和延迟优先的融合推理，突破了现有方法的限制，支持更灵活的嵌入式接口。
关键设计：在设计中，重点关注了输入适配器和输出适配器的灵活性，确保支持多种操作符和I/O格式，优化了内存使用和执行效率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，VLA模型在闭环执行中的任务成功率分别达到100.0%和91.0%，而WAM基准测试中内存使用量从312.2 MiB降低至88.1 MiB，显著提升了部署效率和模型性能。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动驾驶、无人机等需要实时决策和执行的场景。通过提高嵌入式AI模型的部署效率，能够加速这些技术的实际应用，推动智能设备的普及和发展。
📄 摘要（原文）
Embodied AI models now span vision-language-action (VLA) models and world-action models (WAMs), but practical deployment remains fragmented across model-specific Python stacks, backend assumptions, and robot-side glue code, especially on heterogeneous edge devices. Existing inference runtimes are designed mainly for request-response serving and therefore do not satisfy the runtime contract of embodied deployment: multi-rate execution inside closed-loop control, latency-first batch-1 inference on heterogeneous hardware, and extensible embodied interfaces beyond fixed token I/O. We presentthis http URL, a portable C++ inference runtime for embodied models. Based on an architectural analysis of representative VLA models and WAMs,this http URLcaptures a shared execution path and organizes it into five layers: input adapters, sequence builders, backbone execution, head plugins, and deployment adapters. The runtime provides modular multi-rate execution, latency-first fused inference, and extensible operator and I/O support, enabling deployment across heterogeneous devices, robots, and simulators through one backend abstraction. We evaluatethis http URLon two VLA models, HY-VLA and pi0.5, and on a preliminary WAM benchmark using a LingBot-VA Transformer block. The VLA deployments achieve successful closed-loop execution with 100.0% and 91.0% task success rates, respectively. The WAM benchmark reduces block memory from 312.2 MiB to 88.1 MiB. These results show thatthis http URLimproves deployment efficiency while preserving high accuracy across diverse embodied model architectures.