RecDCL: Dual Contrastive Learning for Recommendation

📄 arXiv: 2401.15635v2 📥 PDF

作者: Dan Zhang, Yangliao Geng, Wenwen Gong, Zhongang Qi, Zhiyu Chen, Xing Tang, Ying Shan, Yuxiao Dong, Jie Tang

分类: cs.IR, cs.CL

发布日期: 2024-01-28 (更新: 2024-02-19)

备注: Accepted to WWW 2024

期刊: Proceedings of TheWebConf 2024 (WWW '24), May 13--17, 2024, Singapore

DOI: 10.1145/3589334.3645533

🔗 代码/项目: GITHUB

💡 一句话要点

提出RecDCL以解决推荐系统中的冗余表示问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 推荐系统 自监督学习 对比学习 用户表示 物品表示 数据稀疏 深度学习

📋 核心要点

  1. 现有基于对比学习的推荐方法主要集中在批次对比，未能有效利用特征维度的规律，导致冗余表示。
  2. 本文提出RecDCL框架，通过结合批次对比学习和特征对比学习，优化用户-物品表示，消除冗余。
  3. 在四个广泛使用的基准数据集和一个工业数据集上，RecDCL consistently outperform了现有的GNN和SSL模型。

📝 摘要（中文）

自监督学习（SSL）在挖掘用户-物品交互方面取得了显著成功，尤其是在协同过滤中。现有的基于对比学习（CL）的SSL方法主要集中在批次对比，未能充分利用特征维度的潜在规律，导致用户和物品表示学习中的冗余解决方案。本文提出了一种双重对比学习推荐框架RecDCL，结合了批次对比学习（BCL）和特征对比学习（FCL），理论分析表明两者结合能够消除冗余而不丢失最优解。实验结果显示，RecDCL在多个基准数据集上均优于现有的GNN和SSL模型，Recall@20提升幅度达到5.65%。

🔬 方法详解

问题定义：本文旨在解决现有推荐系统中基于对比学习的冗余表示问题，现有方法主要依赖批次对比，未能充分利用特征维度的潜在规律，导致表示学习中的冗余。

核心思路：提出双重对比学习框架RecDCL，通过结合批次对比学习（BCL）和特征对比学习（FCL），在消除冗余的同时保持最优解的能力。FCL旨在优化用户-物品正对的表示，而BCL则增强表示的鲁棒性。

技术框架：RecDCL框架包括两个主要模块：FCL模块用于消除冗余并优化用户和物品的均匀分布，BCL模块用于生成对比嵌入以增强表示的鲁棒性。

关键创新：最重要的创新在于将BCL与FCL结合，理论分析表明这种组合能够有效消除冗余表示，同时不影响最优解的获取，这是与现有方法的本质区别。

关键设计：FCL目标使用多项式核驱动表示正交化，BCL目标则生成输出向量的对比嵌入，增强表示的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RecDCL在四个基准数据集和一个工业数据集上均表现优异，相较于最先进的GNN和SSL模型，Recall@20的提升幅度达到5.65%，显示出其在推荐任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括电商推荐、社交媒体内容推荐和个性化广告等。通过优化用户和物品的表示，RecDCL能够提高推荐系统的准确性和用户满意度，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Self-supervised learning (SSL) has recently achieved great success in mining the user-item interactions for collaborative filtering. As a major paradigm, contrastive learning (CL) based SSL helps address data sparsity in Web platforms by contrasting the embeddings between raw and augmented data. However, existing CL-based methods mostly focus on contrasting in a batch-wise way, failing to exploit potential regularity in the feature dimension. This leads to redundant solutions during the representation learning of users and items. In this work, we investigate how to employ both batch-wise CL (BCL) and feature-wise CL (FCL) for recommendation. We theoretically analyze the relation between BCL and FCL, and find that combining BCL and FCL helps eliminate redundant solutions but never misses an optimal solution. We propose a dual contrastive learning recommendation framework -- RecDCL. In RecDCL, the FCL objective is designed to eliminate redundant solutions on user-item positive pairs and to optimize the uniform distributions within users and items using a polynomial kernel for driving the representations to be orthogonal; The BCL objective is utilized to generate contrastive embeddings on output vectors for enhancing the robustness of the representations. Extensive experiments on four widely-used benchmarks and one industry dataset demonstrate that RecDCL can consistently outperform the state-of-the-art GNNs-based and SSL-based models (with an improvement of up to 5.65\% in terms of Recall@20). The source code is publicly available (https://github.com/THUDM/RecDCL).