UnifiedRL: A Reinforcement Learning Algorithm Tailored for Multi-Task Fusion in Large-Scale Recommender Systems

📄 arXiv: 2404.17589v6 📥 PDF

作者: Peng Liu, Cong Xu, Ming Zhao, Jiawei Zhu, Bin Wang, Yi Ren

分类: cs.IR, cs.LG

发布日期: 2024-04-19 (更新: 2025-09-24)

💡 一句话要点

提出UnifiedRL以解决大规模推荐系统中的多任务融合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 多任务融合 推荐系统 用户满意度 大规模数据 探索策略 离线学习

📋 核心要点

  1. 现有的离线强化学习算法在多任务融合中存在过于严格的约束，导致性能显著下降。
  2. UnifiedRL通过集成自定义探索策略与离线强化学习模型，放宽约束并提高了探索效率。
  3. 实验结果显示，UnifiedRL在多个大规模推荐系统中表现优异，用户有效消费和停留时间均有显著提升。

📝 摘要（中文）

在推荐系统的最后阶段，多任务融合负责将多任务学习模型输出的多个评分合并为最终评分，以最大化用户满意度。为优化长期用户满意度，强化学习被应用于推荐系统中的多任务融合。然而，现有的离线强化学习算法面临严重问题，包括过于严格的约束导致性能损失、对训练数据收集策略的无知以及低效的探索策略。为解决这些问题，本文提出了UnifiedRL，这是一种针对大规模推荐系统的多任务融合的创新方法。UnifiedRL将离线强化学习模型与自定义探索策略无缝集成，放宽了过于严格的约束，显著提升了性能。实验结果表明，UnifiedRL在用户有效消费和用户停留时间上分别提高了4.64%和1.74%。

🔬 方法详解

问题定义：本文旨在解决现有离线强化学习算法在多任务融合中的不足，主要包括过于严格的约束、对探索策略的无知以及低效的探索方式，这些问题严重影响了推荐系统的性能。

核心思路：UnifiedRL的核心思路是将离线强化学习模型与自定义的高效探索策略相结合，以放宽约束并提高探索效率，从而优化用户满意度。这样的设计旨在克服现有方法的局限性，提升推荐系统的整体性能。

技术框架：UnifiedRL的整体架构包括离线强化学习模型和自定义探索策略两个主要模块。离线强化学习模型负责从历史数据中学习，而自定义探索策略则用于在在线环境中进行高效探索，确保模型能够适应动态变化的用户需求。

关键创新：UnifiedRL的最大创新在于其自定义探索策略的引入，这一策略与传统的强化学习多任务融合方法有本质区别，能够有效缓解过于严格的约束问题，并提升探索效率。

关键设计：在关键设计方面，UnifiedRL采用了特定的损失函数来平衡探索与利用的关系，并在网络结构上进行了优化，以支持高效的在线探索和离线训练迭代。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，UnifiedRL在多个大规模推荐系统中表现优异，用户有效消费提高了4.64%，用户停留时间增加了1.74%。与现有的多任务融合方法相比，UnifiedRL的性能提升显著，展示了其在实际应用中的巨大潜力。

🎯 应用场景

UnifiedRL可广泛应用于大规模推荐系统，尤其是在电商、视频推荐和社交媒体等领域。通过优化多任务融合过程，UnifiedRL能够显著提升用户体验和满意度，进而推动商业价值的增长。未来，该方法有潜力在更多领域中推广应用，促进个性化推荐技术的发展。

📄 摘要（原文）

As the last pivotal stage of Recommender System (RS), Multi-Task Fusion (MTF) is responsible for combining multiple scores outputted by Multi-Task Learning (MTL) model into a final score to maximize user satisfaction. Recently, to optimize long-term user satisfaction, Reinforcement Learning (RL) is used for MTF in RSs. However, the existing offline RL algorithms used for MTF have the following severe problems: a) To avoid Out-of-Distribution (OOD), their constraints are overly strict, which seriously damage performance; b) They are unaware of the exploration policy used to collect training data, only suboptimal policy can be learned; c) Their exploration policies are inefficient and hurt user experience. To solve the above problems, we propose an innovative method called UnifiedRL tailored for MTF in large-scale RSs. UnifiedRL seamlessly integrates offline RL model with its custom exploration policy to relax overly strict constraints, which is different from existing RL-MTF methods and significantly improves performance. In addition, compared to existing exploration policies, UnifiedRL's custom exploration policy is highly efficient, enabling frequent online exploration and offline training iterations, which further improves performance. Extensive offline and online experiments are conducted in a large-scale RS. The results demonstrate that UnifiedRL outperforms other existing MTF methods remarkably, achieving a +4.64% increase in user valid consumption and a +1.74% increase in user duration time. To the best of our knowledge, UnifiedRL is the first RL algorithm tailored for MTF in RSs and has been successfully deployed in multiple large-scale RSs since June 2023, yielding significant benefits.