TL++: Accuracy and Privacy Preserving Traversal Learning for Distributed Intelligent Systems

📄 arXiv: 2606.25627v1 📥 PDF

作者: Erdenebileg Batbaatar, Young Yoon

分类: cs.LG, cs.AI, cs.CR, cs.DC

发布日期: 2026-06-24

备注: 25 pages, 3 figures

💡 一句话要点

提出TL++以解决分布式智能系统中的隐私与准确性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 分布式学习 隐私保护 联邦学习 切层激活 虚拟批次 模型训练 数据共享

📋 核心要点

  1. 现有的联邦学习和分割学习方法在异构数据和通信效率方面存在显著不足，难以实现高效的模型训练。
  2. TL++提出了一种双模式遍历学习框架，通过构建虚拟批次来恢复集中式小批量梯度行为，增强了隐私保护。
  3. 实验结果显示，TL++在CIFAR-10上取得91.41%的准确率，相较于非TL++基线提升超过12个百分点，同时减少了通信量。

📝 摘要（中文）

分布式智能系统越来越需要在数据孤岛中进行训练，而不集中原始数据。联邦学习虽然保持数据本地化，但在异构分区下可能表现不佳，并且需要重复的全模型交换。分割学习通过切层激活减少通信，但标准协议通常无法恢复集中式小批量梯度行为，并可能以明文形式暴露激活和梯度。本文提出TL++，一种双模式的遍历学习框架，通过节点间构建虚拟批次，在明确同步假设下恢复集中式小批量梯度行为。基础模式交换切层激活和梯度，而安全模式则在协调者和非合谋助手之间秘密共享每个切层激活和梯度，防止任一服务器观察明文切层张量。实验结果表明，TL++在CIFAR-10和PubMedQA上表现优异，接近集中训练性能，同时减少通信并提供激活级别的秘密共享。

🔬 方法详解

问题定义：本文旨在解决分布式智能系统中数据隐私与训练准确性之间的矛盾，现有方法在异构数据和通信效率方面存在显著不足。

核心思路：TL++通过双模式遍历学习框架，构建虚拟批次以恢复集中式小批量梯度行为，同时在安全模式下保护数据隐私。

技术框架：TL++包含基础模式和安全模式两个主要模块。基础模式负责交换切层激活和梯度，而安全模式则通过秘密共享机制保护数据隐私。

关键创新：TL++的核心创新在于通过虚拟批次恢复小批量梯度行为，并在安全模式下实现切层激活和梯度的秘密共享，显著提高了隐私保护能力。

关键设计：在设计中，TL++采用线性或仿射服务器路径以确保准确性，而非线性操作则需要使用非线性多方计算或近似方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在CIFAR-10数据集上，TL++基础模式和安全模式分别实现了91.41%和90.93%的准确率，较非TL++基线提升超过12个百分点。同时，基础模式相较于全模型同步减少了13.1倍的每步通信量，显示出显著的通信效率提升。

🎯 应用场景

TL++的研究成果在医疗、金融等领域具有广泛的应用潜力，尤其是在需要保护用户隐私的分布式智能系统中。通过提高模型训练的准确性和隐私保护能力，TL++能够促进跨机构的数据合作与共享，推动智能系统的发展。

📄 摘要（原文）

Distributed intelligent systems increasingly need to train across data silos without centralizing raw data. Federated learning keeps data local but can suffer under heterogeneous partitions and requires repeated full-model exchange. Split learning reduces communication through cut-layer activations, but standard protocols generally do not recover centralized mini-batch gradient behavior and may expose activations and gradients in plaintext. We present TL++, a two-mode traversal-learning framework that constructs virtual batches across nodes to recover centralized mini-batch gradient behavior under explicit synchronization assumptions. Base mode exchanges cut-layer activations and gradients rather than full models. Secure mode secret-shares each cut-layer activation and gradient between an orchestrator and a non-colluding helper, preventing either server from observing plaintext cut-layer tensors. This protection is limited to a semi-honest two-server setting; labels and loss-related outputs remain visible to the orchestrator. In the lightweight secure path evaluated here, exactness requires a linear or affine server path, while nonlinear operations require nonlinear MPC or approximation. We formalize TL++, analyze communication and computation costs, and evaluate it against federated and split-learning baselines on CIFAR-10 and BioGPT/PubMedQA using full fine-tuning and LoRA. On CIFAR-10, TL++ base cut 1 and exact secure cut 3 achieve accuracies of 91.41% (SD 0.19) and 90.93% (SD 0.17), respectively, exceeding the strongest measured non-TL++ baseline by more than 12 percentage points. TL++ base cut 1 also reduces per-step communication by 13.1-fold relative to full-model synchronization. PubMedQA results similarly favor TL++. Overall, TL++ approaches centralized-training performance while reducing communication and providing activation-level secret sharing.