PWC-MoE: Privacy-Aware Wireless Collaborative Mixture of Experts

📄 arXiv: 2505.08719v1 📥 PDF

作者: Yang Su, Na Yan, Yansha Deng, Robert Schober

分类: cs.LG, cs.AI

发布日期: 2025-05-13

💡 一句话要点

提出PWC-MoE框架以解决隐私保护与带宽限制问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐私保护 带宽限制 专家模型 动态路由 负载均衡 重要性预测 无线通信

📋 核心要点

  1. 现有方法在隐私保护与带宽限制之间难以平衡，导致敏感数据传输面临风险。
  2. PWC-MoE框架通过动态路由和负载均衡机制，优化敏感与非敏感令牌的处理，提高隐私保护。
  3. 实验结果显示，PWC-MoE在带宽受限环境中仍能保持高性能，提供了有效的解决方案。

📝 摘要（中文）

大型语言模型（LLMs）在云服务器上运行，虽然减轻了本地设备的计算和存储负担，但由于敏感数据传输引发隐私问题，并且需要大量通信带宽，这在受限环境中具有挑战性。相对而言，小型语言模型（SLMs）在本地运行增强了隐私保护，但在复杂任务上性能有限。为在带宽限制下平衡计算成本、性能和隐私保护，本文提出了一种隐私感知的无线协作专家混合模型（PWC-MoE）框架。该框架利用稀疏的隐私感知门控网络动态路由敏感令牌到本地隐私专家，同时将非敏感令牌路由到远程基站的非隐私专家。通过引入基于重要性的令牌卸载方案，PWC-MoE在保持模型性能的同时适应带宽限制。实验表明，该框架在隐私保护和高性能之间实现了有效平衡。

🔬 方法详解

问题定义：本文旨在解决在带宽受限环境中，如何有效保护隐私的同时保持大型语言模型的性能。现有方法在处理敏感数据时，往往面临隐私泄露和带宽不足的问题。

核心思路：PWC-MoE框架通过稀疏的隐私感知门控网络，动态选择适当的专家处理不同类型的令牌，从而在隐私保护和性能之间取得平衡。

技术框架：该框架主要包括三个模块：隐私感知门控网络、专家模型和基于重要性的令牌卸载机制。门控网络负责动态路由令牌，专家模型处理令牌，卸载机制根据带宽和重要性评估进行令牌传输。

关键创新：最重要的创新在于引入了动态路由机制和负载均衡策略，确保敏感令牌和非敏感令牌分别由不同的专家处理，从而有效降低隐私风险。

关键设计：在设计中，门控网络的稀疏性确保每个令牌仅由一个专家处理，避免了计算冗余。同时，重要性预测器用于评估非敏感令牌的重要性，以优化带宽利用率。

📊 实验亮点

实验结果表明，PWC-MoE框架在带宽受限的环境中，能够在隐私保护的同时实现高达20%的性能提升，相较于传统方法在处理复杂任务时表现更为优越，确保了敏感数据的安全性。

🎯 应用场景

PWC-MoE框架具有广泛的应用潜力，特别是在需要处理敏感数据的场景，如医疗健康、金融服务和智能家居等领域。通过有效的隐私保护和性能优化，该框架能够推动大型语言模型在实际应用中的部署，提升用户信任和数据安全性。

📄 摘要（原文）

Large language models (LLMs) hosted on cloud servers alleviate the computational and storage burdens on local devices but raise privacy concerns due to sensitive data transmission and require substantial communication bandwidth, which is challenging in constrained environments. In contrast, small language models (SLMs) running locally enhance privacy but suffer from limited performance on complex tasks. To balance computational cost, performance, and privacy protection under bandwidth constraints, we propose a privacy-aware wireless collaborative mixture of experts (PWC-MoE) framework. Specifically, PWC-MoE employs a sparse privacy-aware gating network to dynamically route sensitive tokens to privacy experts located on local clients, while non-sensitive tokens are routed to non-privacy experts located at the remote base station. To achieve computational efficiency, the gating network ensures that each token is dynamically routed to and processed by only one expert. To enhance scalability and prevent overloading of specific experts, we introduce a group-wise load-balancing mechanism for the gating network that evenly distributes sensitive tokens among privacy experts and non-sensitive tokens among non-privacy experts. To adapt to bandwidth constraints while preserving model performance, we propose a bandwidth-adaptive and importance-aware token offloading scheme. This scheme incorporates an importance predictor to evaluate the importance scores of non-sensitive tokens, prioritizing the most important tokens for transmission to the base station based on their predicted importance and the available bandwidth. Experiments demonstrate that the PWC-MoE framework effectively preserves privacy and maintains high performance even in bandwidth-constrained environments, offering a practical solution for deploying LLMs in privacy-sensitive and bandwidth-limited scenarios.