FraQ: Efficient Coordinate-Space Recompression for Federated Low-Rank Adaptation

📄 arXiv: 2608.03605v1 📥 PDF

作者: Shenghui Li, Thiemo Voigt

分类: cs.AI

发布日期: 2026-08-04

💡 一句话要点

提出FraQ以解决联邦低秩适应中的聚合不匹配问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 低秩适应 模型压缩 坐标空间重压缩 大语言模型 隐私保护 高效算法

📋 核心要点

  1. 现有的LoRA方法在联邦学习中存在聚合不匹配的问题，导致模型更新效率低下。
  2. FraQ通过坐标空间重压缩，精确聚合客户端更新，避免了计算密集型的稠密矩阵分解。
  3. 实验结果显示，FraQ在保持高准确率的同时，显著减少了通信开销和服务器负担。

📝 摘要（中文）

联邦微调与低秩适应（LoRA）允许在不集中私有数据的情况下高效协作地调整大型语言模型（LLMs）。然而，LoRA的双因子参数化导致客户端之间的聚合不匹配：简单地平均因子无法恢复其诱导更新的平均值。为了解决这一问题，本文提出了FraQ，一种高效的坐标空间重压缩方法。FraQ从精确表示聚合的堆叠因子出发，将其分解为正交基和紧凑坐标矩阵，恢复小Gram矩阵中的奇异谱，选择满足能量阈值的最小秩，并通过基构建全局适配器。实验结果表明，FraQ在文本分类和常识推理基准上实现了接近未压缩基线的准确性，同时显著降低了下行通信和服务器端重压缩开销。

🔬 方法详解

问题定义：本文旨在解决联邦学习中低秩适应（LoRA）方法的聚合不匹配问题。现有方法在客户端之间简单平均因子时，无法有效恢复其诱导更新的平均值，导致模型性能下降。

核心思路：FraQ的核心思路是通过坐标空间重压缩来精确聚合客户端的更新。该方法从堆叠因子出发，分解为正交基和紧凑坐标矩阵，从而避免了传统方法中计算密集的稠密矩阵分解过程。

技术框架：FraQ的整体架构包括以下几个主要模块：首先，精确表示聚合的堆叠因子；其次，进行正交基和紧凑坐标矩阵的分解；然后，从小Gram矩阵中恢复奇异谱；最后，选择满足能量阈值的最小秩，并通过基构建全局适配器。

关键创新：FraQ的主要创新在于其高效的坐标空间重压缩方法，能够在不牺牲模型性能的情况下，显著降低计算和通信开销。这一方法与现有的简单平均因子方法本质上不同，提供了更为精确的聚合机制。

关键设计：在设计中，FraQ采用了小Gram矩阵来恢复奇异谱，并通过设定能量阈值来选择最小秩。此外，重压缩过程中的参数设置和损失函数设计也经过优化，以确保在压缩过程中尽量保留模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在文本分类和常识推理的基准测试中，FraQ实现了接近未压缩基线的准确性，同时在下行通信方面减少了显著的开销，服务器端重压缩开销也保持在较低水平。这表明FraQ在效率和性能之间取得了良好的平衡。

🎯 应用场景

FraQ的研究成果在多个领域具有潜在应用价值，尤其是在需要保护用户隐私的场景中，如医疗、金融和社交网络等。通过高效的联邦学习，组织可以在不共享敏感数据的情况下，协作训练高性能的机器学习模型，推动智能应用的发展。未来，FraQ有望在更广泛的模型适应和优化任务中发挥重要作用。

📄 摘要（原文）

Federated fine-tuning with Low-Rank Adaptation (LoRA) enables efficient collaborative adaptation of Large Language Models (LLMs) without centralizing private data. However, LoRA's two-factor parameterization creates an aggregation mismatch across clients: naively averaging the factors does not recover the average of their induced updates. This mismatch can be avoided by forming the exact aggregate in the full weight space and then recompressing it, but decomposing the resulting dense matrix is computationally expensive and memory-intensive. We propose FraQ, an efficient coordinate-space recompression method for federated LoRA. Starting from stacked factors that exactly represent the aggregate, FraQ factorizes it into an orthonormal basis and a compact coordinate matrix. It then recovers the singular spectrum from a small Gram matrix, selects the smallest rank satisfying a prescribed energy threshold, and maps the selected coordinate subspace back through the basis to construct the global adapter. Experiments on text classification and commonsense reasoning benchmarks show that FraQ achieves accuracy close to uncompressed baselines while substantially reducing downlink communication with low server-side recompression overhead.