Breaking the Length Barrier: LLM-Enhanced CTR Prediction in Long Textual User Behaviors

📄 arXiv: 2403.19347v1 📥 PDF

作者: Binzong Geng, Zhaoxin Huan, Xiaolu Zhang, Yong He, Liang Zhang, Fajie Yuan, Jun Zhou, Linjian Mo

分类: cs.IR, cs.AI

发布日期: 2024-03-28

备注: Accepted by the 47th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR), 2024

💡 一句话要点

提出BAHE以解决长文本用户行为CTR预测效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本处理 点击率预测 行为聚合 层次编码 大型语言模型 用户行为分析 计算效率

📋 核心要点

  1. 现有方法在处理长文本用户行为时效率不足，无法满足亿级用户和物品的训练需求。
  2. BAHE通过行为聚合层次编码，解耦用户行为编码与行为间交互，提升LLM的处理效率。
  3. 实验表明，BAHE在CTR模型中训练时间和内存减少五倍，特别适用于长用户序列，已成功应用于实际系统。

📝 摘要（中文）

随着大型语言模型（LLMs）的兴起，近期研究利用LLMs提升点击率（CTR）预测的性能。然而，部署LLMs的一个关键障碍是处理长文本用户行为时的效率问题。为此，本文提出了行为聚合层次编码（BAHE），旨在提升基于LLM的CTR建模效率。BAHE采用新颖的层次架构，将用户行为的编码与行为间的交互解耦，显著降低计算复杂度。实验结果表明，BAHE在使用LLMs的CTR模型中，训练时间和内存减少了五倍，尤其在长用户序列下表现突出。BAHE已在实际系统中部署，支持每日更新5000万条CTR数据，展现了LLMs在工业CTR预测中的实用性。

🔬 方法详解

问题定义：本文旨在解决在长文本用户行为下，LLMs在CTR预测中的效率不足问题。现有方法在处理长用户序列时，计算复杂度高，无法有效训练大规模数据。

核心思路：BAHE的核心思路是通过层次化架构，将用户行为的编码与行为间的交互解耦，利用LLM的预训练浅层提取用户行为的嵌入，减少重复计算。

技术框架：BAHE的整体架构包括两个主要模块：首先，利用LLM的浅层提取原子用户行为的嵌入并存储；其次，使用LLM的深层进行复杂的行为间交互，生成用户的综合嵌入。

关键创新：BAHE的创新在于将用户行为的低层编码与高层表示学习分离，显著降低了计算复杂度，与现有方法相比，提升了效率。

关键设计：在设计上，BAHE利用了LLM的预训练浅层进行嵌入提取，深层则用于学习行为间的复杂交互，确保了高效的计算和准确的CTR预测。具体的参数设置和损失函数设计在实验中进行了优化。

📊 实验亮点

实验结果显示，BAHE在使用LLMs的CTR模型中，训练时间和内存减少了五倍，尤其在处理长用户序列时表现优异。与基线模型相比，BAHE显著提升了CTR预测的效率，证明了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括在线广告、推荐系统和用户行为分析等。通过提升CTR预测的效率，BAHE能够支持更大规模的数据处理，帮助企业在实时推荐和广告投放中做出更精准的决策，具有显著的实际价值和未来影响。

📄 摘要（原文）

With the rise of large language models (LLMs), recent works have leveraged LLMs to improve the performance of click-through rate (CTR) prediction. However, we argue that a critical obstacle remains in deploying LLMs for practical use: the efficiency of LLMs when processing long textual user behaviors. As user sequences grow longer, the current efficiency of LLMs is inadequate for training on billions of users and items. To break through the efficiency barrier of LLMs, we propose Behavior Aggregated Hierarchical Encoding (BAHE) to enhance the efficiency of LLM-based CTR modeling. Specifically, BAHE proposes a novel hierarchical architecture that decouples the encoding of user behaviors from inter-behavior interactions. Firstly, to prevent computational redundancy from repeated encoding of identical user behaviors, BAHE employs the LLM's pre-trained shallow layers to extract embeddings of the most granular, atomic user behaviors from extensive user sequences and stores them in the offline database. Subsequently, the deeper, trainable layers of the LLM facilitate intricate inter-behavior interactions, thereby generating comprehensive user embeddings. This separation allows the learning of high-level user representations to be independent of low-level behavior encoding, significantly reducing computational complexity. Finally, these refined user embeddings, in conjunction with correspondingly processed item embeddings, are incorporated into the CTR model to compute the CTR scores. Extensive experimental results show that BAHE reduces training time and memory by five times for CTR models using LLMs, especially with longer user sequences. BAHE has been deployed in a real-world system, allowing for daily updates of 50 million CTR data on 8 A100 GPUs, making LLMs practical for industrial CTR prediction.