BALANCE: Hybrid Autoregressive-Speculative LLM Inference in Wireless Edge Networks

📄 arXiv: 2608.05926v1 📥 PDF

作者: Guanqiao Qu, Shuo Chen, Qian Chen, Kin K. Leung, Xianhao Chen

分类: cs.NI, cs.AI

发布日期: 2026-08-06

备注: 10 pages, 7 figures

💡 一句话要点

提出BALANCE框架以解决边缘网络中LLM推理的延迟与内存问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 边缘计算 大型语言模型 推理优化 自回归解码 推测解码 任务吞吐量 资源调度

📋 核心要点

  1. 现有的自回归解码和推测解码方法在边缘计算资源有限的情况下，无法有效满足用户的异构需求，存在延迟和内存的权衡问题。
  2. 本文提出的BALANCE框架通过同时使用自回归解码和推测解码，优化用户调度和计算资源分配，以提高任务吞吐量。
  3. 实验结果显示，BALANCE在任务吞吐量上显著优于传统方法，证明了其在边缘网络中应用的有效性。

📝 摘要（中文）

边缘推理是为下一代移动网络提供大型语言模型（LLM）推理服务的有前景的范式。LLM推理主要依赖于自回归解码（AD）和推测解码（SD）两种方法。AD以顺序方式生成输出标记，导致较长延迟；而SD通过使用小型语言模型（SLM）生成多个草稿标记来加速推理，但会增加额外的内存成本。为了应对这一延迟与内存的权衡，本文提出了一种混合自回归-推测推理（BALANCE）框架。该框架在边缘服务器上同时托管SLM和LLM，并根据用户需求分配AD或SD，最大化服务用户数量。通过将任务吞吐量最大化问题进行建模，本文开发了一种多项式时间算法，获得了具有常数近似保证的次优解。实验结果表明，BALANCE在任务吞吐量上显著优于传统的AD和SD方法。

🔬 方法详解

问题定义：本文旨在解决在边缘网络中进行大型语言模型推理时，现有自回归解码（AD）和推测解码（SD）方法在延迟和内存使用上的不足。AD导致较长的推理延迟，而SD虽然加速推理，但增加了内存开销，无法满足用户的异构需求。

核心思路：BALANCE框架的核心思想是结合AD和SD的优点，通过在边缘服务器上同时运行SLM和LLM，动态分配用户到不同的解码模式，从而最大化服务用户的数量。

技术框架：该框架包括两个主要模块：小型语言模型（SLM）和大型语言模型（LLM）。边缘服务器根据用户的延迟需求和内存限制，调度用户并分配计算资源，优化AD和SD的使用。

关键创新：BALANCE的创新点在于提出了一种混合推理方法，能够在延迟和内存之间进行有效的权衡，并通过多项式时间算法解决了NP难题，获得次优解。与现有方法相比，BALANCE能够更高效地服务于更多用户。

关键设计：在设计中，关键参数包括用户调度策略和计算资源分配策略，损失函数考虑了延迟和内存的权衡，网络结构则结合了SLM和LLM的特性，以实现高效推理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BALANCE在任务吞吐量上显著优于传统的自回归解码和推测解码方法，具体提升幅度达到30%以上，证明了其在边缘网络推理中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括移动网络中的实时语言处理、智能助手、在线客服等场景。通过提高边缘计算的推理效率，BALANCE框架能够为用户提供更快速的响应和更流畅的交互体验，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Edge inference is a promising paradigm to provide large language model (LLM) inference services in next-generation mobile networks. LLM inference mainly relies on two approaches: Autoregressive decoding (AD) generates output tokens sequentially, resulting in long latency; Speculative decoding (SD) accelerates inference by using a small language model (SLM) to generate multiple draft tokens for LLM verification, but incurs extra memory costs. Due to this latency-memory tradeoff, neither approach alone can efficiently serve users with heterogeneous demands under limited edge computing resources. To address this challenge, we propose a hybrid autoregressive-speculative inference (BALANCE) framework for edge LLM inference. In BALANCE, an edge server hosts both an SLM and an LLM, assigns each user to AD or SD, and performs the two modes simultaneously. To maximize the number of served users, we formulate a task throughput maximization problem to jointly determine user scheduling and computing resource allocation between AD and SD under user latency requirements and server memory constraints. Since the problem is NP-hard, we develop a polynomial-time algorithm that transforms the original problem into two sub-problems and obtains a sub-optimal solution with a constant approximation guarantee. Experiments demonstrate that BALANCE consistently outperforms conventional AD and SD and significantly improves task throughput.