Communication-Efficient Verifiable Attention for LLM Inference

📄 arXiv: 2606.16352v1 📥 PDF

作者: Ziqun Chen, Ming Wu, Michael Heinrich, Jason Zeng, Huiying Lan, Tianwei Zhang, Rui Tan

分类: cs.LG, cs.AI

发布日期: 2026-06-15

备注: 19 pages, 16 figures

💡 一句话要点

提出通信高效的可验证注意力机制以加速LLM推理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 可验证推理 受信执行环境 Transformer 计算效率 GPU计算 数据处理 注意力机制

📋 核心要点

  1. 现有的TEE保护DNN分区方法在应用于Transformer-based LLM时，面临显著的计算和通信开销问题。
  2. 本文提出的VeriAttn通过将注意力的线性和非线性计算卸载到GPU，并利用TEE进行验证，从而提高了推理效率。
  3. 在Intel TDX平台上，VeriAttn在预填充和解码阶段的性能提升显著，分别实现了2.60-3.38倍和3.86-5.42倍的加速。

📝 摘要（中文）

远程大型语言模型（LLM）服务的计算完整性存在疑问。传统的深度神经网络（DNN）采用受信执行环境（TEE）进行非线性组件计算，并验证卸载到不可信GPU的线性组件的完整性。然而，直接将TEE保护的DNN分区（TSDP）方法应用于基于Transformer的LLM时，会产生显著的TEE计算和TEE-GPU通信开销。本文提出了通信高效的TEE-GPU注意力机制（VeriAttn），旨在加速可验证的LLM推理。VeriAttn将注意力的线性和非线性计算均卸载到GPU，同时由TEE进行验证。此外，在预填充阶段，VeriAttn使用两级管道重叠数据移动、TEE的前后处理和GPU计算。在解码阶段，当键值缓存超出可用GPU内存时，VeriAttn在TEE和GPU之间分区注意力，以减少重复的键值传输。评估结果显示，VeriAttn在Intel TDX平台上实现了6k-token提示和10k-token输出的预填充和解码阶段相较于TSDP分别加速2.60-3.38倍和3.86-5.42倍。

🔬 方法详解

问题定义：本文旨在解决远程LLM推理中的计算完整性问题，现有方法在处理Transformer模型时面临高昂的TEE计算和通信开销。

核心思路：VeriAttn的核心思路是将注意力机制的线性和非线性计算均卸载到GPU，TEE仅负责结果的验证，从而减少了计算负担和通信延迟。

技术框架：VeriAttn的整体架构包括两个主要阶段：预填充和解码。在预填充阶段，使用两级管道重叠数据移动和计算；在解码阶段，针对键值缓存超出GPU内存的情况，进行注意力的分区处理。

关键创新：VeriAttn的关键创新在于其通信效率的提升，通过合理的计算卸载和数据处理策略，显著降低了TEE与GPU之间的通信开销，与传统的TSDP方法相比具有本质的区别。

关键设计：在设计中，VeriAttn采用了两级管道机制来优化数据流动，并在解码时实现了注意力的分区，以减少重复的键值传输，确保了高效的内存使用和计算性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VeriAttn在Intel TDX平台上实现了显著的性能提升，预填充阶段加速比为2.60-3.38倍，解码阶段加速比为3.86-5.42倍，展示了其在处理大规模输入时的高效性。

🎯 应用场景

该研究的潜在应用领域包括云计算环境中的大型语言模型推理、边缘计算中的实时自然语言处理以及需要高安全性和高效率的AI服务场景。其实际价值在于提升了LLM推理的安全性和效率，未来可能推动更多基于LLM的应用落地。

📄 摘要（原文）

Computation integrity of remote large language model (LLM) serving can be questionable. For conventional deep neural networks (DNNs), the existing TEE-shielded DNN partitioning (TSDP) approach uses Trusted Execution Environment (TEE) to compute non-linear components and verify the integrity of linear components offloaded to an untrusted GPU. However, directly applying TSDP to Transformer-based LLMs incurs significant TEE computation and TEE-GPU communication overhead. This paper presents Communication-efficient TEE-GPU Attention (\textsc{VeriAttn}) for accelerating verifiable LLM inference. \textsc{VeriAttn} offloads both linear and non-linear computations of attention to the GPU, while TEE performs verification. Moreover, for prefill, \textsc{VeriAttn} uses a two-level pipeline to overlap data movement, TEE pre-/post-processing, and GPU computation. For decoding, when the key-value cache exceeds available GPU memory, \textsc{VeriAttn} partitions attention across TEE and GPU to reduce repeated key-value transfers. Evaluation on an Intel TDX platform shows that \textsc{VeriAttn} achieves 2.60-3.38$\times$ and 3.86-5.42$\times$ acceleration over TSDP for 6k-token prompts and 10k-token outputs during prefill and decoding, respectively.