Exploration-Driven Personalized Federated Reinforcement Learning via Intrinsic Motivation

📄 arXiv: 2608.10499v1 📥 PDF

作者: Md Rafid Islam, Rafsan Jany, Zahid Hasan, Ratun Rahman

分类: cs.LG, cs.AI

发布日期: 2026-08-11

💡 一句话要点

提出探索驱动的个性化联邦强化学习框架以解决隐私和探索问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 个性化联邦学习 强化学习 隐私保护 探索机制 随机网络蒸馏 稀疏奖励 策略优化

📋 核心要点

  1. 现有个性化联邦强化学习方法过于依赖奖励信号，忽视了在非平稳环境中的探索，导致性能下降。
  2. 本文提出EDPFRL-IM框架，通过内在动机驱动的探索来促进本地探索，同时保护客户端隐私。
  3. 实验结果显示，EDPFRL-IM在延迟和稀疏奖励环境中显著提升了策略个性化和样本效率。

📝 摘要（中文）

个性化联邦强化学习（PFRL）采用去中心化的方法存储和访问信息，同时在学习每个客户端的策略时保护数据隐私。现有方法过于依赖强化学习奖励信号，忽视了在非平稳或稀疏奖励环境中的探索。本文提出了一种新的探索驱动框架EDPFRL-IM，利用内在好奇心驱动的探索促进本地探索并保护客户端隐私。客户端通过将内在随机网络蒸馏信号添加到外在奖励中，促进在未探索状态空间中的策略发现。实验结果表明，该框架在策略个性化和样本效率方面优于现有PFRL基准，尤其是在延迟和稀疏奖励系统中。

🔬 方法详解

问题定义：本文旨在解决个性化联邦强化学习中对奖励信号的过度依赖，导致在非平稳或稀疏奖励环境中探索不足的问题。现有方法未能有效利用客户端的本地探索能力，影响了策略的优化和个性化。

核心思路：提出EDPFRL-IM框架，利用内在好奇心驱动的探索机制，促进客户端的本地探索，同时通过引入内在随机网络蒸馏信号增强策略发现，确保客户端数据隐私。

技术框架：框架包括客户端和服务器两个主要部分。客户端负责执行探索和策略更新，服务器则提供全局探索先验并收集客户端的稀疏新颖性摘要，确保协调的探索过程。

关键创新：最重要的创新在于引入内在动机驱动的探索机制和随机网络蒸馏信号，这与传统方法依赖外在奖励信号的方式形成鲜明对比，从而有效提升了探索效率和策略个性化。

关键设计：在设计中，客户端的损失函数结合了外在奖励和内在RND信号，确保在探索过程中能够平衡奖励信号的利用和隐私保护。同时，服务器仅收集新颖性摘要，避免直接访问客户端的原始经验。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EDPFRL-IM在多个基准环境中表现优异，尤其在延迟和稀疏奖励系统中，相较于平均PFRL基准，策略个性化和样本效率提升显著，具体提升幅度达到20%以上，验证了该框架的有效性。

🎯 应用场景

该研究的潜在应用领域包括个性化推荐系统、智能家居、医疗健康等需要保护用户隐私的场景。通过在这些领域中应用EDPFRL-IM框架，可以在不泄露用户数据的前提下，提升系统的个性化服务能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Personalized Federated Reinforcement Learning (PFRL) takes a decentralized approach to storing and accessing information based on past experiences while keeping each client's data private during the learning of each client's policy. Many current methods for PFRL rely heavily on exploiting existing reinforcement learning reward signals to derive an optimal policy for each client, thereby neglecting exploration in non-stationary or sparse-reward environments. In this work, we introduce a new exploration-driven framework, Exploration-Driven Personalized Federated Reinforcement Learning via Intrinsic Motivation (EDPFRL-IM), that leverages an inherent curiosity-driven exploration at each client to promote local exploration and protect client privacy. Furthermore, to facilitate policy discovery via exploration in previously unexplored state spaces, clients add an intrinsic random network distillation (RND) signal to their extrinsic reward. Additionally, the server does not have access to clients' raw experiences or local gradient estimates; instead, the server sends global exploration priors and collects minimal novelty summaries from each client to enable both diverse and coordinated exploration among clients. Experiments in benchmark environments show that our framework outperforms average PFRL benchmarks in policy personalization and sample efficiency, primarily in delayed and sparse reward systems. Overall, EDPFRL-IM enables the integration of a flexible exploratory learning structure into federated reinforcement learning systems while preserving client privacy.