Fast and Cost-effective Speculative Edge-Cloud Decoding with Early Exits

📄 arXiv: 2505.21594v1 📥 PDF

作者: Yeshwanth Venkatesha, Souvik Kundu, Priyadarshini Panda

分类: cs.RO, cs.AI, cs.DC

发布日期: 2025-05-27

💡 一句话要点

提出快速且经济的边缘云解码框架以降低LLM部署成本

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 边缘计算 云解码 大型语言模型 早期退出机制 资源优化 实时应用 机器人控制

📋 核心要点

  1. 现有的云端API依赖使得大型语言模型的部署成本高昂，限制了小型组织的访问并引发可持续性问题。
  2. 本文提出了一种边缘云解码框架，通过在目标模型中引入早期退出机制，提升了边缘设备的计算效率。
  3. 实验结果显示，该方法在延迟上较传统云端自回归解码减少了35%，在四足机器人上的应用实现了21%的速度提升。

📝 摘要（中文）

大型语言模型（LLMs）在智能手机、可穿戴设备和机器人等边缘设备上的应用受到云端API高昂成本的限制。本文提出了一种快速且经济的边缘云解码框架，结合了服务器上的大型目标模型和设备上的小型草稿模型。通过在目标模型中引入早期退出机制，允许在最终验证前生成令牌，从而提升边缘与云之间的并行性。实验结果表明，该方法在NVIDIA Jetson Nano和A100 GPU上实现了高达35%的延迟减少，并在Unitree Go2四足机器人上实现了21%的速度提升，展示了其在资源受限的边缘设备上实时应用的潜力。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在边缘设备上部署时面临的高成本和延迟问题。现有方法依赖云端API，导致资源受限的设备无法有效利用LLM。

核心思路：提出一种边缘云解码框架，结合服务器上的大型目标模型与设备上的小型草稿模型，通过早期退出机制提升计算效率，允许在最终验证前生成令牌。

技术框架：整体架构包括客户端（NVIDIA Jetson Nano）和服务器（A100 GPU），客户端使用草稿模型生成初步令牌，服务器进行最终验证，二者通过并行处理提升效率。

关键创新：引入早期退出机制是本文的核心创新，使得在生成令牌的过程中能够利用空闲时间，显著提升了边缘与云之间的并行性。

关键设计：在模型设计上，草稿模型（Vicuna-68M）和目标模型（Llama2-7B）的选择经过优化，以确保在资源受限的环境中仍能保持较高的准确性和效率。

📊 实验亮点

实验结果表明，所提出的方法在NVIDIA Jetson Nano上实现了高达35%的延迟减少，相较于传统云端自回归解码，预先草拟令牌又提升了11%。在Unitree Go2四足机器人上应用时，速度提升达21%，展示了其在实际应用中的有效性。

🎯 应用场景

该研究的框架可广泛应用于智能手机、可穿戴设备和机器人等边缘计算场景，尤其适合资源受限的环境。通过降低云端依赖，提升了实时应用的可行性，具有重要的实际价值和可持续发展潜力。

📄 摘要（原文）

Large Language Models (LLMs) enable various applications on edge devices such as smartphones, wearables, and embodied robots. However, their deployment often depends on expensive cloud-based APIs, creating high operational costs, which limit access for smaller organizations and raise sustainability concerns. Certain LLMs can be deployed on-device, offering a cost-effective solution with reduced latency and improved privacy. Yet, limited computing resources constrain the size and accuracy of models that can be deployed, necessitating a collaborative design between edge and cloud. We propose a fast and cost-effective speculative edge-cloud decoding framework with a large target model on the server and a small draft model on the device. By introducing early exits in the target model, tokens are generated mid-verification, allowing the client to preemptively draft subsequent tokens before final verification, thus utilizing idle time and enhancing parallelism between edge and cloud. Using an NVIDIA Jetson Nano (client) and an A100 GPU (server) with Vicuna-68M (draft) and Llama2-7B (target) models, our method achieves up to a 35% reduction in latency compared to cloud-based autoregressive decoding, with an additional 11% improvement from preemptive drafting. To demonstrate real-world applicability, we deploy our method on the Unitree Go2 quadruped robot using Vision-Language Model (VLM) based control, achieving a 21% speedup over traditional cloud-based autoregressive decoding. These results demonstrate the potential of our framework for real-time LLM and VLM applications on resource-constrained edge devices.