ID2Pattern: Pretraining Generalizable Identity Behavior Patterns for Transaction Risk Foundation Models

📄 arXiv: 2610.41988v1 📥 PDF

作者: Ze Zhao, Haoyu Jiang, Weiyu Han, Ruobing Zuo, Xiao Tan, Shuai Chen, Tianyi Zhang

分类: cs.AI

发布日期: 2026-10-30

备注: 13 pages, 6 figures

💡 一句话要点

提出ID2Pattern以解决在线支付系统身份行为模式识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 身份行为模式 在线支付 风险识别 预训练模型 多尺度模式 局部匿名ID 金融科技

📋 核心要点

  1. 现有方法未能充分利用高基数身份字段的行为信号，导致在线支付系统的风险识别能力不足。
  2. ID2Pattern通过局部匿名ID标记器编码身份字段，捕捉身份在交易序列中的行为模式，从而提升模型的泛化能力。
  3. 在超过1亿个序列的工业数据集和多个公共数据集上，ID2Pattern的表现均优于现有基线，显示出显著的性能提升。

📝 摘要（中文）

大规模行为预训练为在线支付系统中的可泛化表示提供了有前景的途径。然而，高基数身份字段（如卡、设备和账户ID）虽然富含行为信号，但仍未得到充分利用。现有的基于词汇和语义的编码方法不适合这些字段。ID2Pattern框架通过引入局部匿名ID（LAID）标记器，捕捉身份在交易序列中的出现模式，并在无标签序列上预训练多尺度模式词典，将LAID序列抽象为离散行为模式。实验结果表明，ID2Pattern在工业数据集和六个公共数据集上均优于强基线，平均提升4.13%和8.83%。

🔬 方法详解

问题定义：论文旨在解决在线支付系统中高基数身份字段的行为模式识别问题。现有的词汇和语义编码方法无法有效捕捉这些字段的潜在信号，限制了模型的泛化能力。

核心思路：ID2Pattern框架的核心思想是通过局部匿名ID（LAID）标记器来编码身份字段，关注身份在交易序列中的行为模式，而非具体值，从而实现更好的泛化。

技术框架：ID2Pattern的整体架构包括两个主要模块：首先，使用LAID标记器对身份字段进行编码；其次，在无标签序列上预训练多尺度模式词典，将LAID序列转化为离散的行为模式，以供下游预测使用。

关键创新：ID2Pattern的主要创新在于引入LAID标记器和多尺度模式词典的结合，能够有效捕捉身份行为模式，显著提升模型在新用户和市场中的泛化能力。

关键设计：在设计中，LAID标记器的参数设置和模式词典的构建方式是关键，确保能够准确反映身份在交易序列中的行为特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ID2Pattern在工业数据集上平均提升了4.13%，在六个公共数据集上平均提升了8.83%。尤其值得注意的是，即使在训练过程中未见过任何身份值，ID2Pattern仍能保持良好的效果，展示了其强大的泛化能力。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在金融科技领域，可以用于在线支付系统的风险监测与识别，帮助金融机构更好地识别潜在的欺诈行为。此外，ID2Pattern的泛化能力使其在新兴市场和用户中也能有效应用，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large-scale behavioral pretraining offers a promising route to generalizable representations in online payment systems. However, high-cardinality identity fields such as card, device, and account IDs, though rich in behavioral signals, remain underexploited. Their continually growing vocabularies and limited semantic meaning make existing vocabulary-based and semantics-based encodings ill-suited. Their generalizable signal lies not in specific values, but in the identity behavior patterns they exhibit across a transaction sequence. Building on this insight, we propose ID2Pattern, a pretraining framework that brings these patterns into transaction foundation models. ID2Pattern first encodes identity fields with a Local Anonymous ID (LAID) tokenizer, which captures how each identity appears and recurs within the sequence, independent of its specific value. It then pretrains a multi-scale pattern codebook on unlabeled sequences, which abstracts LAID sequences into discrete behavior patterns for downstream prediction. Experiments on an industrial dataset with over 100M sequences and six public datasets show that ID2Pattern consistently outperforms strong baselines, improving industrial by 4.13% and public datasets by 8.83% on average. Notably, ID2Pattern remains equally effective even when all identity values are unseen during training, highlighting its potential to generalize to new users and markets.