Pallas: A Proactive KV Cache Migration Framework for LLM Inference in AI-RAN

📄 arXiv: 2608.16477v1 📥 PDF

作者: Tianhang Ding, Jianchun Liu, Hongli Xu

分类: cs.LG

发布日期: 2026-08-17

💡 一句话要点

提出Pallas框架以解决AI-RAN中的KV缓存迁移问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: KV缓存 主动迁移 蜂窝切换 服务连续性 大语言模型 AI-RAN 低延迟 移动通信

📋 核心要点

  1. 现有方法在蜂窝切换中面临推理状态丢失的问题，导致服务中断和延迟增加。
  2. Pallas框架通过在切换前主动准备推理状态，减少了服务中断时间和跨令牌延迟。
  3. 实验结果显示，Pallas在多种LLM上显著提高了性能，SIT和ITL均有显著降低。

📝 摘要（中文）

AI-RAN将大型语言模型（LLM）服务带到移动用户附近，但在蜂窝切换过程中，活跃请求可能与其推理状态分离。保留推理在源端可以保持服务连续性，但会持续增加跨令牌延迟（ITL）；而在目标端恢复状态则需要KV缓存转移或重计算，直接延长服务中断时间（SIT）。本文提出了Pallas，一个主动的KV缓存迁移框架，在切换前准备推理状态，同时进行源端推理和令牌传输。Pallas将令牌序列分为稳定的历史前缀和不断演变的后缀，目标端通过本地预填充重构前缀，源端则流式传输后缀生成的KV块。切换时，目标端将两部分组装成最新的KV缓存并本地恢复解码，从而减少SIT。实验表明，Pallas在不同LLM和100-500 Mbps的链路下，平均SIT减少了2.28到89.68倍，ITL降低了16.0%到50.0%。

🔬 方法详解

问题定义：本文旨在解决在AI-RAN环境中，蜂窝切换导致的活跃请求与推理状态分离的问题。现有方法在切换后恢复状态时，往往需要KV缓存的转移或重计算，导致服务中断时间（SIT）增加。

核心思路：Pallas框架的核心思路是主动在切换前准备推理状态，通过并行处理源端推理和目标端的状态重构，减少服务中断时间。这样设计的目的是为了在用户移动时保持服务的连续性和低延迟。

技术框架：Pallas的整体架构包括两个主要模块：源端和目标端。在切换前，Pallas将令牌序列分为历史前缀和演变后缀，目标端通过本地预填充重构前缀，源端则流式传输后缀的KV块。切换时，目标端将两部分组装成最新的KV缓存并恢复解码。

关键创新：Pallas的关键创新在于其主动的KV缓存迁移策略，通过在切换前进行状态准备，显著降低了服务中断时间（SIT）和跨令牌延迟（ITL），与现有方法相比具有本质的区别。

关键设计：Pallas使用在线调度器选择预取窗口，决定准备开始的时间，基于移动预测和运行时遥测进行动态调整。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，Pallas在不同的LLM和100-500 Mbps的链路条件下，平均服务中断时间（SIT）减少了2.28到89.68倍，跨令牌延迟（ITL）降低了16.0%到50.0%。这些结果显示了Pallas在提升服务连续性和响应速度方面的显著效果。

🎯 应用场景

Pallas框架在移动通信和边缘计算领域具有广泛的应用潜力，尤其是在需要低延迟和高可用性的场景中，如实时语音识别、在线翻译和智能助手等。其主动的缓存迁移策略能够提升用户体验，降低服务中断风险，具有重要的实际价值和未来影响。

📄 摘要（原文）

AI-RAN brings large language model (LLM) serving close to mobile users, but cellular handover can separate an active request from its inference state: the user attaches to a target base station (gNB) while the large and growing key-value (KV) cache remains at the source. Retaining inference at the source preserves service continuity but persistently increases inter-token latency (ITL), whereas recovering the state at the target restores serving locality but requires KV-cache transfer, recomputation, or a combination of both only after handover, directly prolonging service interruption time (SIT). This work presents Pallas, a \textit{proactive} KV-cache migration framework that prepares the inference state at the predicted target before handover, in parallel with ongoing source-side inference and token delivery. At the preparation trigger, Pallas partitions the token sequence into a stable historical prefix and an evolving suffix. The target reconstructs the prefix through local prefill, while the source streams the KV blocks generated for the suffix. At handover, the target assembles both portions into an up-to-date KV cache and resumes decoding locally, leaving only unfinished preparation to contribute to SIT. An online scheduler selects the \textit{prefetching window}, which determines how early preparation begins before handover, based on mobility predictions and runtime telemetry. Across three LLMs and $100$--$500~\mathrm{Mbps}$ inter-gNB links, our vLLM-based prototype reduces average SIT by factors of $2.28$--$89.68$ over target-side recovery approaches and lowers average ITL by $16.0\%$--$50.0\%$ compared with source-side forwarding.