Towards a Densing Law for User Representation Learning at Billion-Scale Capacity
作者: Bin Dou, Junru Zhang, Zhaoyi Yuan, Wuliang Huang, Letian Gong, Baokun Wang, Huan Li, Yu Cheng, Weiqiang Wang
分类: cs.IR, cs.AI
发布日期: 2026-08-24
备注: 28 pages, 13 figures, technical report
💡 一句话要点
提出用户行为稠密法以解决亿级用户表示学习中的瓶颈问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 用户表示学习 标记化 数据扩展 自适应方法 机器学习
📋 核心要点
- 现有用户表示学习方法在亿级规模下面临原始数据扩展的瓶颈，性能提升逐渐减弱。
- 提出用户行为稠密法，定量分析数据规模与标记配置之间的关系，并开发自适应标记方法ALGN。
- 实验结果显示，ALGN在多种数据源和下游任务中超越现有基线，提升了用户表示学习的效果。
📝 摘要（中文）
在实际工业场景中，用户表示学习通常通过增加用户数量、行为序列长度和模型规模来扩展。然而，现有方法面临两个挑战：一是原始数据在亿级规模下的扩展瓶颈，二是缺乏对标记配置与数据规模之间定量关系的分析。本文提出用户行为稠密法，定量描述数据规模与最小足够标记能力之间的关系。通过对亿级支付宝数据集的初步研究，揭示了原始数据扩展的瓶颈及标记化带来的持续收益。理论分析和系统实验总结出标记能力与输入数据规模之间的近似线性关系，并提出了自适应可变长度标记方法ALGN，显著提升了容量分配。实验结果表明该法具有广泛的适用性和可靠性。
🔬 方法详解
问题定义：论文旨在解决亿级用户表示学习中原始数据扩展的瓶颈问题，现有方法在处理大规模用户行为数据时性能提升有限。
核心思路：提出用户行为稠密法，通过定量分析数据规模与标记配置的关系，指导标记化配置的选择，以优化用户表示学习的效果。
技术框架：整体架构包括数据预处理、标记化配置、模型训练和性能评估四个主要模块。首先对原始数据进行标记化处理，然后通过模型训练进行用户表示学习，最后评估模型在不同任务上的表现。
关键创新：最重要的技术创新点在于提出了用户行为稠密法，揭示了标记能力与输入数据规模之间的线性关系，并开发了自适应标记方法ALGN，显著提升了容量分配的效率。
关键设计：在标记化过程中，采用了不同的标记方法和配置，结合理论分析和实验结果，确定了最小足够标记能力的参数设置，确保在不同数据规模下的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ALGN在多个数据源和下游任务中均表现优异，相较于现有基线提升了性能，具体提升幅度达到XX%。该法的普适性和可靠性为大规模用户表示学习提供了重要的指导。
🎯 应用场景
该研究在大规模用户表示学习中具有广泛的应用潜力，尤其适用于金融、电商等行业的用户行为分析。通过优化标记化配置，可以提升模型的学习效率和效果，进而推动个性化推荐、用户画像等实际应用的发展。未来，该方法可能影响更广泛的用户行为分析和机器学习领域。
📄 摘要（原文）
User representation learning in real-world industrial scenarios is commonly scaled by increasing user amount, behavioral sequence length and model size. However, existing methods face two challenges: (i) Bottleneck for raw data scaling at billion-scale capacity, as performance exhibit diminishing performance gains with larger-scale raw text user behavioral input, which can be mitigated by tokenization. (ii) Lack of quantitative analysis of how tokenization configurations should scale with data size. In this report, we propose User Behavioral Densing Law for characterizing the quantitative relationship between data scale and the minimum sufficient tokenization capacity. Firstly, we conduct a pilot study on raw & tokenized scaling comparison on billion-scale Alipay dataset, revealing the raw data scaling bottleneck and the sustained gains enabled by tokenization. To derive the scaling pattern governing the minimum sufficient tokenization configuration at different data scales, theoretical analysis and systematic experiments are employed to summarize the quantitative scaling pattern. We find an approximately linear relationship between the logarithms of minimum sufficient tokenization capacity and input data size measured by tokens, and the scaling slope varies systematically with the tokenization method and data source, reflecting differences in representation-space redundancy and intra-source uniqueness. Guided by the proposed law, we further develop ALGN, an adaptive variable-length tokenization method that improves capacity allocation. Extensive experiments across diverse data sources, tokenization methods, and downstream tasks demonstrate the generalizability and reliability of the User Behavioral Densing Law, providing practical guidance for tokenization configuration selection in large-scale user representation learning. Moreover, ALGN outperforms existing baselines.