ACCT: Asymmetric Cross-LLM Context Transfer

📄 arXiv: 2610.42116v1 📥 PDF

作者: Yuzhe Liu, Haolin Tian, Tonghan Wang

分类: cs.AI

发布日期: 2026-10-30

💡 一句话要点

提出ACCT以解决跨模型上下文重用的计算成本问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 上下文重用 KV缓存 稀疏表示 推理优化

📋 核心要点

  1. 现有方法在不同模型间重用上下文时，通常需要重新处理上下文，造成高昂的计算成本。
  2. ACCT通过将源模型的KV缓存转化为稀疏KV状态，实现上下文计算的跨模型重用，降低计算开销。
  3. 实验表明，ACCT在减少KV缓存的同时，仍能保持目标模型的推理性能，且在19K tokens的上下文长度下实现6.5-21.2倍的速度提升。

📝 摘要（中文）

在实际应用中，大型语言模型（LLM）系统逐渐从单一模型调用演变为异构部署，其中不同模型动态调用进行推理。然而，当相同上下文在模型间重用时，目标模型通常需要重新处理上下文，导致显著的计算成本。因此，本文提出了ACCT（不对称跨LLM上下文转移），旨在实现同一模型家族中不同规模模型之间的KV缓存转移。ACCT将源模型生成的KV缓存转化为稀疏KV状态，目标模型可以直接使用，从而实现上下文计算的跨模型重用。ACCT由三个轻量级组件组成：地图绘制器、分配器和编译器。实验结果表明，ACCT在减少75% KV缓存大小的情况下，仍能匹配或超越目标模型的原始推理性能。

🔬 方法详解

问题定义：本文解决的问题是如何在不同规模的模型间有效重用上下文，避免重复处理带来的计算开销。现有方法在跨模型调用时，通常需要重新计算上下文，导致资源浪费和效率低下。

核心思路：ACCT的核心思路是将源模型的KV缓存转化为稀疏KV状态，使得目标模型能够直接利用这些状态进行推理，而无需重新处理原始上下文。这种设计旨在降低计算成本，同时保持推理性能。

技术框架：ACCT的整体架构包括三个主要模块：地图绘制器（Cartographer）、分配器（Allocator）和编译器（Compiler）。地图绘制器负责识别与查询相关的上下文标记，分配器决定每个目标层和KV头保留的上下文标记数量，而编译器则将选定的源KV转化为稀疏目标KV。

关键创新：ACCT的关键创新在于实现了KV缓存的稀疏转化，使得不同规模的模型能够共享上下文计算，显著降低了计算资源的需求。这一方法与传统的上下文重用方式有本质区别，后者通常需要重复处理上下文。

关键设计：在设计中，ACCT对KV预算进行了共享管理，确保每个目标层和KV头在总KV预算下的最优分配。此外，采用轻量级的组件设计，使得ACCT在实际应用中具有较低的计算开销。通过这些设计，ACCT能够高效地实现上下文的跨模型转移。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，ACCT在减少75% KV缓存大小的情况下，仍能匹配或超越目标模型的原始推理性能。在上下文长度约为19K tokens时，ACCT的KV转换实现了6.5-21.2倍的速度提升，展示了其在跨模型上下文转移中的有效性。

🎯 应用场景

ACCT的研究成果在多个领域具有潜在应用价值，尤其是在需要高效推理的自然语言处理任务中。通过减少计算资源的消耗，ACCT可以帮助开发更为高效的多模型系统，提升用户体验。此外，该方法也可能在实时系统和资源受限的环境中发挥重要作用，推动智能助手和对话系统的进一步发展。

📄 摘要（原文）

In real-world deployments, large language model (LLM) systems are increasingly evolving from single-model invocation toward heterogeneous deployments in which different models are dynamically invoked for inference. When the same context is reused across models, however, each newly selected target model typically has to process it again, repeatedly incurring substantial computational costs. Therefore, we propose ACCT (Asymmetric Cross-LLM Context Transfer), which targets KV cache transfer between models of different scales within the same model family. ACCT transforms the KV cache produced by a source model into sparse KV states that can be directly consumed by a target model, thereby enabling cross-model reuse of context computation and decoupling context computation from downstream inference. ACCT consists of three lightweight components: the Cartographer identifies query-relevant context tokens for each target layer and KV head; the Allocator determines how many context tokens each target layer and KV head retains under a shared total KV budget; and the Compiler transforms selected source KV into sparse target KV. The target model can therefore perform inference using the transferred KV without reprocessing the original context. We evaluate ACCT in two complementary settings comprising five general-capability benchmarks and six highly context-dependent tasks. Experiments show that ACCT matches or exceeds the target model's original inference performance even when reducing the KV cache size by 75%. At a context length of approximately 19K tokens, ACCT's KV conversion achieves a 6.5-21.2 times speedup over target context prefill. These results demonstrate the feasibility of transferring context computation across models under a limited KV budget.