Communication-Efficient Private Federated Reinforcement Learning with Post-Quantum Authentication for Vehicular Networks

📄 arXiv: 2610.41055v1 📥 PDF

作者: Hojat Allah Salehi, Devrim Aras, Md Jueal Mia, M. Hadi Amini, Imtiaz Karim, Mashrur Chowdhury, Bhavani Thuraisingham

分类: cs.LG, cs.CR

发布日期: 2026-10-29

备注: 46 pages, 12 figures, 12 tables. Code: https://github.com/solidlabnetwork/cpq-vehicular-frl

💡 一句话要点

提出一种通信高效的私有联邦强化学习方法以解决车载网络中的数据隐私问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 联邦强化学习 车载网络 数据隐私 后量子认证 私有量化 通信效率 差分隐私

📋 核心要点

  1. 现有的联邦强化学习方法在保护私密信息的同时，面临通信开销大和数据隐私泄露的挑战。
  2. 本文提出了一种相关的私有量化方法，通过配对车辆的共享随机性来降低聚合均方误差，同时保持隐私保护。
  3. 实验结果表明，相关私有量化在相同隐私预算下，平均旅行时间减少了14.3%，并且上传大小显著降低。

📝 摘要（中文）

联邦强化学习支持车载路由的协作，而无需集中轨迹数据，但模型更新可能泄露私密信息，并在间歇性的车到基础设施链接中产生通信开销，尤其是在需要后量子认证时。本文研究了相关的私有量化，利用配对车辆之间的互补共享随机性来降低聚合均方误差，同时保持边际参数级局部差分隐私和独立量化的一位通信成本。可调扩展混合共享和独立随机性，以在给定配对输出和共享随机性侧信息的情况下限制隐私泄露。通过与后量子认证的车到基础设施通信的包级仿真结合，评估了协作路由的效果。与全精度更新相比，一位上传减少了92.4%的认证上行大小，并将每轮聚合的平均验证更新从19.6增加到26.5。

🔬 方法详解

问题定义：本文旨在解决车载网络中联邦强化学习的隐私保护与通信效率问题。现有方法在模型更新时可能泄露私密信息，并且在需要后量子认证的情况下，通信开销较大。

核心思路：论文提出通过配对车辆之间的共享随机性进行相关私有量化，以降低聚合均方误差，同时保持局部差分隐私和一位通信成本。这样的设计旨在在保护隐私的同时提高通信效率。

技术框架：整体架构包括数据收集、私有量化、模型更新和后量子认证四个主要模块。车辆通过共享随机性进行量化，然后将更新发送至基础设施进行聚合和认证。

关键创新：最重要的创新在于引入了可调扩展，混合共享和独立随机性，以限制隐私泄露，并通过Rényi差分隐私建立向量级局部差分隐私。与现有方法相比，该方法在隐私保护和通信效率上有显著提升。

关键设计：在参数级隐私预算设置上，本文设计了不同的隐私预算（如1和0.3），并通过实验验证了相关私有量化在不同预算下的效果，确保了隐私保护与通信效率的平衡。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，与独立量化相比，相关私有量化在相同隐私预算下，平均旅行时间减少了14.3%。此外，一位上传的认证上行大小减少了92.4%，每轮聚合的平均验证更新从19.6增加到26.5，显示出显著的性能提升。

🎯 应用场景

该研究在智能交通系统、车联网和自动驾驶等领域具有广泛的应用潜力。通过提高数据隐私保护和通信效率，可以促进车载网络的安全性和可靠性，推动智能交通的发展。

📄 摘要（原文）

Federated reinforcement learning supports cooperative vehicular routing without centralizing trajectory data, but model updates may reveal private information and incur communication overhead over intermittent vehicle-to-infrastructure links, particularly when post-quantum authentication is required. We study correlated private quantization, using complementary shared randomness between paired vehicles to reduce aggregation mean squared error while preserving the marginal parameter-level local differential privacy and one-bit communication cost of independent quantization. A tunable extension mixes shared and independent randomness to bound privacy leakage given paired outputs and shared-randomness side information. For this extension, Rényi differential privacy accounting establishes vector-level local differential privacy for one model upload even when pairings are revealed. Under matched vector-level privacy and identical local and global parameters, the extension yields 16.5% lower analytical aggregation mean squared error than independent quantization. We evaluate cooperative routing by coupling traffic simulation with packet-level simulation of post-quantum-authenticated vehicle-to-infrastructure communication. Compared to full-precision updates, one-bit uploads reduce authenticated uplink size by 92.4% and increase mean verified updates aggregated per round from 19.6 to 26.5. Under mobility-constrained communication at a parameter-level privacy budget of 1, correlated private quantization reduces mean travel time by 14.3% relative to independent quantization at the same budget and communication cost. At a parameter-level privacy budget of 0.3, a vehicle-origin inference attack trained on independent simulations reaches 30% accuracy with correlated private quantization and 22% with independent quantization after 100 rounds, versus 91% without privacy and 10% for random guessing.