SplitLite: Low-Rank Residual Compression for Split Learning

📄 arXiv: 2608.23018v1 📥 PDF

作者: Tao Li, Yulin Tang, Qi Guo, Xianhao Chen

分类: cs.LG, cs.AI

发布日期: 2026-08-24

💡 一句话要点

提出SplitLite以解决分布式学习中的通信成本问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 分布式学习 通信效率 低秩结构 激活残差 奇异值分解 联邦学习 模型微调

📋 核心要点

  1. 现有的分布式学习方法在通信成本上存在显著挑战，尤其是在高维激活和梯度的交换上。
  2. SplitLite通过利用激活和梯度残差的低有效秩结构，提出了一种高效的通信方案，减少了数据传输量。
  3. 实验结果显示，SplitLite在GLUE基准上将激活上行通信成本降低了93.5 ext{%}，总通信成本降低了83.7 ext{%}，且未影响模型性能。

📝 摘要（中文）

在设备上对大型语言模型进行联邦微调面临显著的计算负担。为了解决这一限制，分割学习（SL）作为一种有前景的解决方案，将主要训练工作负载转移到强大的服务器上。然而，SL需要在客户端和服务器之间交换高维激活和梯度，导致通信成本高昂。为此，我们提出了SplitLite，这是一种通信高效的分割联邦LoRA微调方法，利用了连续时期激活和梯度残差的低有效秩结构。我们的关键发现是，当LoRA在参数空间中使用秩$r$更新时，相邻时期同一数据样本的激活和梯度残差也表现出有效的秩-$2r$和秩-$4r$结构。通过揭示这一特性，SplitLite仅传输量化的截断奇异值分解（SVD）残差因子，从而显著减少激活上行和梯度下行的流量。在GLUE基准上的广泛实验表明，我们的方法在不降低性能的情况下，将激活上行通信成本降低了高达93.5 ext{%}，总通信成本降低了高达83.7 ext{%}。

🔬 方法详解

问题定义：本论文旨在解决分布式学习中高维激活和梯度交换导致的高通信成本问题。现有方法在处理大规模模型时，面临着巨大的计算和通信负担。

核心思路：论文提出的SplitLite方法利用了激活和梯度残差的低有效秩结构，特别是在使用LoRA进行参数更新时，激活和梯度残差的秩特性被有效利用，从而减少了需要传输的数据量。

技术框架：SplitLite的整体架构包括数据样本的激活计算、残差的奇异值分解（SVD）处理，以及量化后的残差因子的传输。主要模块包括客户端的激活计算和服务器的残差重构。

关键创新：SplitLite的核心创新在于揭示了激活和梯度残差的低有效秩结构，并通过量化和截断SVD来减少通信量，这与传统的全量传输方法形成了鲜明对比。

关键设计：在设计中，采用了量化技术来处理SVD残差因子，并优化了参数设置以确保在减少通信成本的同时保持模型性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，SplitLite在GLUE基准上显著提升了通信效率，激活上行通信成本降低了93.5 ext{%}，总通信成本降低了83.7 ext{%}，同时保持了模型的性能，展示了其在实际应用中的强大潜力。

🎯 应用场景

该研究的潜在应用领域包括边缘计算、移动设备上的AI应用以及需要高效模型微调的场景。SplitLite的技术可以显著降低通信成本，从而使得在资源受限环境中进行大规模模型的联邦学习成为可能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Federated fine-tuning of on-device large language models (LLMs) faces a significant computing burden. To overcome this limitation, split learning (SL) has emerged as a promising solution, which offloads the primary training workload to a powerful server. However, SL requires exchanging high-dimensional activations and gradients between clients and the server, resulting in prohibitive communication costs. To overcome this challenge, we propose SplitLite, a communication-efficient split federated LoRA fine-tuning method that exploits the low effective rank structure of consecutive-epoch activation and gradient residuals. Our key finding is that, when LoRA uses rank $r$ updates in parameter space, the activation and gradient residuals of the same data sample between adjacent epochs also exhibit effective rank-$2r$ and rank-$4r$ structures, respectively. By revealing this property, SplitLite transmits only quantized truncated singular value decomposition (SVD) residual factors, thereby significantly reducing both activation uplink and gradient downlink traffic. Extensive experiments on the GLUE benchmark across a series of advanced on-device LLMs demonstrate that our method reduces activation uplink communication costs by up to 93.5\% and total communication costs by up to 83.7\%, without performance degradation.