Deltoris: Enabling Real-time VLA Inference in Embodied AI via Bit-level Sparsity and Speculative Inference

📄 arXiv: 2608.04428v1 📥 PDF

作者: Zheng Liu, Zeyu Guo, Zihan Liu, Anbang Wu, Han Zhao, Fangxin Liu, Zhezhi He, Yinhe Han, Jingwen Leng, Minyi Guo, Yiming Gan, Yu Feng

分类: cs.AR, cs.LG

发布日期: 2026-08-05

💡 一句话要点

提出Deltoris以解决边缘设备上VLA推理效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 边缘计算 算法-硬件协同 稀疏计算 推测推理

📋 核心要点

  1. 现有的扩散基础VLA模型计算密集，需在50-200Hz的高频率下运行，导致边缘设备面临延迟和能耗的双重挑战。
  2. Deltoris通过时间感知位稀疏算法和推测推理技术，优化了连续输入之间的计算，减少了冗余操作和外部数据传输。
  3. 实验结果表明，Deltoris在保持相似准确度的同时，相较于移动GPU实现了34.2倍的速度提升，较之前的加速器提升了6.1倍。

📝 摘要（中文）

视觉-语言-动作（VLA）模型已成为具身人工智能的关键组成部分。现有的扩散基础VLA模型虽然在运动质量和泛化能力上表现优异，但其计算密集型特性要求在高控制频率下运行，给边缘设备带来了严格的延迟和能耗限制。为此，本文提出了Deltoris，一个算法-硬件协同设计框架，旨在提高扩散基础VLA推理的效率。通过引入时间感知位稀疏算法和推测推理技术，Deltoris显著减少了冗余计算和外部数据传输，最终实现了与移动GPU相比高达34.2倍的加速。

🔬 方法详解

问题定义：本文旨在解决扩散基础VLA模型在边缘设备上推理效率低下的问题。现有方法在高频率下运行时，计算资源消耗大，导致延迟和能耗问题。

核心思路：Deltoris的核心思路是利用时间相似性，通过时间感知位稀疏算法仅计算连续输入之间的差异，从而消除冗余的位级操作。同时，引入推测推理技术以减少外部数据传输。

技术框架：Deltoris的整体架构包括输入处理模块、时间感知位稀疏计算模块和推测推理模块，最后通过定制的加速器进行高效推理。每个模块协同工作，以实现高效的VLA推理。

关键创新：Deltoris的关键创新在于时间感知位稀疏算法和推测推理技术的结合，显著降低了计算复杂度和数据传输需求。这一设计与传统方法相比，能够更有效地利用边缘设备的计算资源。

关键设计：在设计中，Deltoris采用了定制的1D流线型位串行处理单元（PE）阵列，以消除PE工作负载不平衡问题。此外，算法的参数设置和损失函数设计也经过精心调整，以确保推理的准确性和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Deltoris在实验中表现出色，相较于移动GPU实现了高达34.2倍的速度提升，同时较之前的加速器提升了6.1倍，且在准确性上保持了相似水平。这一结果展示了其在边缘设备上应用的巨大潜力。

🎯 应用场景

Deltoris的研究成果在多个领域具有潜在应用价值，包括智能机器人、自动驾驶、虚拟现实等具身人工智能场景。通过提高VLA模型的推理效率，Deltoris能够使边缘设备在资源受限的环境中实现更复杂的任务，推动智能设备的普及和应用。

📄 摘要（原文）

Vision-language-action (VLA) models have emerged as a key component in embodied AI. Among existing approaches, diffusion-based VLA models achieve superior motion quality and generalization. However, diffusion-based VLA models are compute-intensive and must run at high control frequency, e.g., 50-200 Hz. Thus, it imposes strict latency and energy constraints on edge devices. In this work, we present Deltoris, an algorithm-hardware co-design framework for efficient diffusion-based VLA inference. First, we exploit the temporal similarity of consecutive inputs and propose a \textit{temporal-aware bit-sparsity} algorithm that computes only the differences between consecutive inputs, eliminating redundant bit-level operations. To further address the extra off-chip traffic introduced by our algorithm, we propose a \textit{speculative inference} technique, which amortizes data loading across multiple control steps. Lastly, to support these techniques, we co-design a dedicated accelerator with customized 1D systolic bit-serial PE arrays that eliminate PE workload imbalance. Our evaluation shows that Deltoris achieves up to 34.2$\times$ speedup over mobile GPUs and 6.1$\times$ over prior accelerators, while maintaining comparable accuracy.