Wukong: Towards a Scaling Law for Large-Scale Recommendation
作者: Buyun Zhang, Liang Luo, Yuxin Chen, Jade Nie, Xi Liu, Daifeng Guo, Yanli Zhao, Shen Li, Yuchen Hao, Yantao Yao, Guna Lakshminarayanan, Ellie Dingqiao Wen, Jongsoo Park, Maxim Naumov, Wenlin Chen
分类: cs.LG, cs.AI
发布日期: 2024-03-04 (更新: 2024-06-04)
备注: 12 pages
💡 一句话要点
提出Wukong以解决推荐系统中的规模法则问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 推荐系统 规模法则 因子分解机 深度学习 模型可扩展性 用户交互 数据集评估
📋 核心要点
- 现有推荐模型在面对复杂真实数据集时，缺乏有效的规模法则，导致模型质量提升受限。
- 本文提出的Wukong通过堆叠因子分解机和协同上升策略，旨在建立推荐系统的规模法则。
- 在六个公共数据集上的实验结果显示，Wukong在模型质量上持续优于当前最先进的模型，并在大规模数据集上展现出良好的可扩展性。
📝 摘要（中文）
规模法则在模型质量的可持续提升中起着重要作用。然而，现有推荐模型未能展现出类似于大型语言模型的规模法则，主要由于其上升机制的低效性。本文提出了一种基于堆叠因子分解机的有效网络架构及协同上升策略，统称为Wukong，以建立推荐领域的规模法则。Wukong的独特设计使其能够通过更高更宽的层捕捉多样的任意阶交互。我们在六个公共数据集上进行了广泛评估，结果表明Wukong在质量上始终优于最先进的模型。此外，我们还在一个内部大规模数据集上评估了Wukong的可扩展性，结果显示Wukong在模型复杂度的两个数量级上保持了质量的优越性，超越了100 GFLOP/example的范围，而现有方法则未能达到。
🔬 方法详解
问题定义：本文旨在解决推荐系统中缺乏有效规模法则的问题。现有方法在模型复杂度提升时，往往无法有效提升模型质量，导致在处理复杂数据集时表现不佳。
核心思路：Wukong的核心思路是通过堆叠因子分解机的网络架构，结合协同上升策略，来捕捉多样的交互关系，从而建立推荐系统的规模法则。这样的设计使得模型能够在更高的复杂度下依然保持良好的性能。
技术框架：Wukong的整体架构包括多个堆叠的因子分解机层，这些层通过增加高度和宽度来增强模型的表达能力。每个层都能够捕捉不同阶的交互，形成一个深度学习的推荐系统。
关键创新：Wukong的主要创新在于其独特的网络设计和协同上升策略，使得模型能够在复杂度大幅提升的情况下，依然保持较高的推荐质量。这与传统推荐模型的设计理念有本质区别。
关键设计：Wukong的关键设计包括层的高度和宽度的设置，损失函数的选择，以及因子分解机的具体实现细节。这些设计使得模型能够有效捕捉用户与物品之间的复杂交互关系。
🖼️ 关键图片
📊 实验亮点
Wukong在六个公共数据集上的实验结果表明，其在推荐质量上持续优于最先进的模型，且在内部大规模数据集上保持了优越性，尤其在模型复杂度超过100 GFLOP/example时，Wukong展现出显著的性能提升，超越了现有方法的局限性。
🎯 应用场景
Wukong的研究成果在推荐系统领域具有广泛的应用潜力，尤其是在电商、社交媒体和内容推荐等场景中。通过提升模型的可扩展性和推荐质量，Wukong能够帮助企业更好地满足用户需求，提升用户体验。未来，随着数据规模的不断扩大，Wukong的设计理念也有望被应用于其他领域，如个性化广告和智能助手等。
📄 摘要（原文）
Scaling laws play an instrumental role in the sustainable improvement in model quality. Unfortunately, recommendation models to date do not exhibit such laws similar to those observed in the domain of large language models, due to the inefficiencies of their upscaling mechanisms. This limitation poses significant challenges in adapting these models to increasingly more complex real-world datasets. In this paper, we propose an effective network architecture based purely on stacked factorization machines, and a synergistic upscaling strategy, collectively dubbed Wukong, to establish a scaling law in the domain of recommendation. Wukong's unique design makes it possible to capture diverse, any-order of interactions simply through taller and wider layers. We conducted extensive evaluations on six public datasets, and our results demonstrate that Wukong consistently outperforms state-of-the-art models quality-wise. Further, we assessed Wukong's scalability on an internal, large-scale dataset. The results show that Wukong retains its superiority in quality over state-of-the-art models, while holding the scaling law across two orders of magnitude in model complexity, extending beyond 100 GFLOP/example, where prior arts fall short.