Thermo-FL: Thermal-Aware Robust Federated Fine-Tuning of Large Language Models for Edge AI

📄 arXiv: 2608.21172v1 📥 PDF

作者: Shiva Shrestha, Kazi Shaharair Sharif, Zongxing Xie, Jiajing Huang, Anhao Xiang, Honghui Xu

分类: cs.LG, cs.DC

发布日期: 2026-08-21

💡 一句话要点

提出Thermo-FL以解决边缘AI中的热管理与更新安全问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 热感知 模型微调 边缘计算 对抗性攻击 稀疏更新 鲁棒性 大语言模型

📋 核心要点

  1. 现有的联邦微调方法在边缘设备上面临硬件不稳定性和对抗性更新损坏的挑战，影响模型的适应性和安全性。
  2. Thermo-FL通过热感知机制动态调整本地训练和更新传输，结合稳健的聚合策略，解决了温度波动和更新安全问题。
  3. 实验表明，Thermo-FL在模拟和物理测试平台上均表现出色，提升了模型的准确性和设备的温度稳定性。

📝 摘要（中文）

联邦微调使大型语言模型能够在边缘设备上适应而无需集中私人数据，但实际部署必须解决硬件不稳定性和对抗性更新损坏的问题。Thermo-FL是一个热感知的联邦LoRA微调框架，利用设备温度作为本地适配器训练和稀疏更新传输的主动控制信号。该框架在客户端根据设备温度调整LoRA层的活跃比例和传输更新的密度，从而在热应力下减少工作负载。同时，Thermo-FL在服务器端引入了TERRA，一个动态稀疏LoRA更新的稳健聚合管道。实验结果表明，Thermo-FL在对抗性稀疏聚合下提高了鲁棒性，并在多个设置中实现了最佳的BoolQ准确率。

🔬 方法详解

问题定义：本论文旨在解决边缘设备在联邦微调过程中因温度波动导致的硬件不稳定性及对抗性更新损坏的问题。现有方法未能有效应对这些挑战，导致模型适应性差和安全性不足。

核心思路：Thermo-FL通过将设备温度作为控制信号，动态调整LoRA层的活跃比例和更新密度，从而在热应力下优化本地训练和更新传输。这种设计旨在提高设备的工作效率和模型的安全性。

技术框架：Thermo-FL的整体架构包括客户端和服务器端两个主要部分。在客户端，系统根据设备温度调整LoRA层的活跃比例；在服务器端，TERRA聚合管道负责处理动态稀疏的LoRA更新，结合多种过滤和验证机制。

关键创新：Thermo-FL的核心创新在于热感知机制与稳健聚合策略的结合，显著提高了在温度波动和对抗性攻击下的模型鲁棒性。这与现有方法的静态更新策略形成鲜明对比。

关键设计：在关键设计上，Thermo-FL采用了动态调整的LoRA层比例、稀疏更新传输和多种聚合策略，包括范数过滤、方向验证和自适应坐标裁剪，以确保在不同温度条件下的有效性和安全性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，Thermo-FL在对抗性稀疏聚合下表现出色，BoolQ任务的准确率在清洁和攻击设置中均达到了最佳水平。同时，在物理原型测试中，Thermo-FL成功稳定了设备温度，并通过位图稀疏编码减少了上传数据量，保持了GSM8K的有效性。

🎯 应用场景

Thermo-FL的研究成果在边缘计算、物联网设备和移动AI应用中具有广泛的潜在应用价值。通过有效管理设备温度和更新安全性，该框架能够提升大型语言模型在实际环境中的适应性和可靠性，促进智能设备的安全使用。

📄 摘要（原文）

Federated fine-tuning enables large language models to adapt on edge devices without centralizing private data, but practical deployments must address hardware instability and adversarial update corruption together. Thermally constrained clients may throttle, slow local training, or delay synchronous aggregation, while Byzantine clients and communication-layer adversaries can corrupt the updates used to form the global model. To address these challenges, we present Thermo-FL, a thermal-aware federated LoRA fine-tuning framework that uses device temperature as an active control signal for local adapter training and sparse update transmission. On the client side, Thermo-FL adjusts the active LoRA-layer fraction and transmitted update density as devices heat or cool, reducing workload under thermal stress. On the server side, Thermo-FL introduces TERRA, a robust aggregation pipeline for dynamically sparse LoRA updates that combines norm filtering, mask-aware directional validation, adaptive active-coordinate clipping, and mask-aware aggregation. We evaluate Thermo-FL using both a large-scale emulator and a Jetson-based physical testbed. In the emulator, Thermo-FL improves robustness under adversarial sparse aggregation and achieves the strongest BoolQ accuracy across clean and attack settings while remaining competitive on GSM8K. In the physical prototype, Thermo-FL stabilizes device temperature, reduces compressed upload size through bitmap sparse encoding, and preserves GSM8K utility under sign-flip/scale and MITM perturbations. These results show that secure edge LLM adaptation should jointly consider hardware behavior, workload regulation, sparse communication, and aggregation robustness.