Rethinking Personalized Reward Modeling for LLMs under Preference Heterogeneity via Group-Debiased Federated Learning
作者: Seongyoon Kim, Boryeong Cho, Jihwan Oh, Seokhyun Chung, Se-Young Yun
分类: cs.LG, cs.AI
发布日期: 2026-08-03
💡 一句话要点
提出FedGD以解决大语言模型个性化奖励建模中的偏好异质性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 联邦学习 个性化建模 奖励建模 偏好异质性 去偏采样 大语言模型 用户偏好
📋 核心要点
- 现有的联邦学习方法假设每个用户组需要独立的奖励模型初始化，导致效率低下。
- 本文提出FedGD方法，通过去偏采样在联邦训练中发现潜在偏好组，学习单一奖励模型。
- 实验结果表明，FedGD在个性化效果上显著优于传统方法，尤其在用户组不平衡的情况下表现突出。
📝 摘要（中文）
大语言模型通过奖励建模逐渐与人类偏好对齐，但用户偏好数据敏感且难以集中。联邦学习在保持数据本地的同时学习共享的初始奖励模型，随后通过本地微调实现个性化。现有方法通过对相似客户端进行聚类来应对偏好异质性，假设每个组需要独立初始化。本文表明这一假设并不必要，提出FedGD方法，通过在联邦训练中发现潜在偏好组，使用去偏采样学习单一奖励模型，从而有效应对组不平衡问题，提升个性化效果。
🔬 方法详解
问题定义：本文旨在解决在个性化奖励建模中，由于用户偏好异质性导致的模型性能下降问题。现有方法通过聚类相似用户来训练多个奖励模型，但这种方法效率低下且假设不必要。
核心思路：提出FedGD方法，通过在联邦学习过程中发现潜在的偏好组，使用去偏采样策略来学习一个共享的奖励模型。这种设计旨在减少组不平衡对模型性能的影响，使得模型能够更快适应用户的个性化需求。
技术框架：FedGD的整体架构包括数据本地化、共享模型初始化、去偏采样和本地微调四个主要模块。首先，用户数据保持本地，接着通过联邦学习算法进行模型初始化，然后进行去偏采样以发现潜在偏好组，最后在每个客户端进行本地微调。
关键创新：FedGD的主要创新在于通过去偏采样策略有效应对用户组不平衡问题，学习到的共享模型在适应性上优于传统的多模型训练方法。这一方法打破了传统假设，展示了单一模型在多样化偏好下的有效性。
关键设计：在模型训练中，采用了新的损失函数以平衡不同用户组的影响，同时在网络结构上进行了优化，以确保模型能够快速适应不同的用户偏好。
🖼️ 关键图片
📊 实验亮点
实验结果显示，FedGD方法在用户偏好不平衡的情况下，模型的个性化效果显著优于传统的多模型训练方法。具体而言，FedGD在少量本地优化步骤后，模型准确率超过了分别为每个用户组训练的奖励模型，展示了其强大的适应能力和有效性。
🎯 应用场景
该研究在个性化推荐系统、智能助手和用户交互等领域具有广泛的应用潜力。通过有效应对用户偏好异质性，FedGD可以提升用户体验，增强模型的适应性和准确性，推动智能系统的个性化发展。
📄 摘要（原文）
Large language models are increasingly aligned to human preferences via reward modeling, but user preference data are sensitive and often cannot be centralized. Federated learning keeps such data local while learning a shared initial reward model, which is later personalized for each client through local fine-tuning. Because users often assign opposite labels to the same pair of responses, existing federated methods address preference heterogeneity by clustering similar clients and training one reward model per group, assuming that each group requires its own initialization. We show that this assumption is unnecessary. Under balanced preference groups, a single FedAvg model, despite starting at nearly random accuracy, surpasses reward models trained separately for each ground-truth group after only a few local optimization steps. We attribute this phenomenon to the flatness of the shared initialization: averaging across all clients learns richer shared representations that distinguish responses while canceling conflicting preference directions, leaving the model near a decision boundary that can be rapidly adapted. Group imbalance breaks this effect as the cancellation becomes asymmetric and leaves minority clients too far from the boundary to recover. Motivated by this observation, we propose FedGD (Federated Learning with Group Debiasing), which discovers latent preference groups during federated training and learns a single reward model using group-debiased client sampling. By counteracting the effect of group imbalance, FedGD learns an initialization that remains highly adaptable, enabling effective personalization without prior knowledge of the underlying groups.