Building a User Foundation Model for the Open Web
作者: Solal Vernier, Ivan Can Arisoy, Merwan Barlier, Blaž Škrlj
分类: cs.LG
发布日期: 2026-07-30
备注: RecSys'26
💡 一句话要点
提出用户基础模型以解决开放网络中的身份碎片化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 用户基础模型 自监督学习 浏览历史建模 开放网络 实时竞价 点击预测 Transformer编码器 个性化推荐
📋 核心要点
- 现有用户基础模型在开放网络环境中面临用户身份碎片化和非持久性的问题，导致历史数据的缺乏。
- 本文提出了一种基于自监督学习的用户基础模型，通过对用户浏览历史进行建模，充分利用了序列结构信息。
- 实验结果显示，该模型在生产环境中显著提升了竞标胜率和点击率，验证了其在开放网络中的有效性。
📝 摘要（中文）
用户基础模型在电子商务和社交推荐中表现出色，但大多数工业应用假设用户身份是稳定和持久的。开放网络的实时竞价（RTB）面临不同的数据分布：用户身份在浏览会话中是碎片化和非持久的，且浏览历史的可用性取决于用户的隐私选择。因此，许多流量缺乏历史数据，现有记录通常由相对较短、断裂的会话组成。为了解决这一限制，本文提出了一种用户基础模型，应用自监督学习于用户浏览历史，证明所学表示在多个下游生产任务中提升了效果。我们使用掩码语言建模和序列级对比目标预训练Transformer编码器，并在点击预测任务上进行微调。通过在经过策划的可审查代码级编辑目录上进行LLM-in-the-loop搜索，优化编码器的预训练管道。相同的编码器表示在生产竞标胜率模型上提升了+1.197%的RIG，在生产CTR排序器上提升了+1.354%的RIG；为期7天的在线A/B测试确认了+2.13%的CTR和-1.13%的eCPC（80% CI不包含零）。
🔬 方法详解
问题定义：本文旨在解决开放网络中用户身份碎片化和历史数据缺乏的问题。现有方法通常假设用户身份是稳定的，无法有效处理用户的非持久性和隐私选择带来的挑战。
核心思路：论文的核心思路是通过自监督学习对用户的浏览历史进行建模，利用掩码语言建模和序列级对比目标来学习用户的表示，从而提升下游任务的性能。
技术框架：整体架构包括预训练和微调两个阶段。首先，使用掩码语言建模对Transformer编码器进行预训练，然后在点击预测任务上进行微调。预训练过程中引入了LLM-in-the-loop搜索，以优化编码器的参数。
关键创新：最重要的技术创新在于将自监督学习应用于开放网络的用户浏览历史，充分挖掘序列结构信息，克服了传统方法对历史信号的简单聚合处理。
关键设计：在预训练过程中，采用了掩码语言建模和序列级对比损失函数，设计了适应开放网络特性的编码器结构，确保模型能够有效捕捉用户行为的时序特征。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的用户基础模型在生产竞标胜率模型上提升了+1.197%的RIG，在生产CTR排序器上提升了+1.354%的RIG。此外，7天的在线A/B测试确认了+2.13%的CTR和-1.13%的eCPC，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括在线广告、个性化推荐和用户行为分析等。通过有效建模用户的浏览历史，能够提升广告投放的精准度和用户体验，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
User foundation models have demonstrated strong results in e-commerce and social recommendation, but most industrial deployments assume environments where user identity is stable and persistent. Open-web real-time bidding (RTB) operates on a structurally different data distribution: user identity is fragmented and non-persistent across browsing sessions, and the availability of browsing history depends on user privacy choices. Consequently, a significant portion of traffic carries no historical data, and available records often consist of relatively short, disjointed sessions. As a result, historical signals in this domain are typically represented as aggregated counters and recency buckets, leaving the sequential structure unexploited. To address this limitation, we present a user foundation model that applies self-supervised learning on user browsing histories and show that the learned representation improves multiple downstream production tasks, demonstrating the viability of this approach on the open web. We pre-train a Transformer encoder with masked language modeling and a sequence-level contrastive objective, then fine-tune it on the click prediction task. We optimize the encoder's pre-training pipeline with an LLM-in-the-loop search over a curated catalog of reviewable, code-level edits (lifters), instantiating the LLM-as-optimizer paradigm in an industrial setting. The same encoder representation yields +1.197% RIG on the production bid win-rate model and +1.354% RIG on the production CTR ranker; a 7-day live A/B test confirms +2.13% CTR, -1.13% eCPC (80% CI excluding zero on both metrics).