EventGPT: Next-Event Pretraining on Banking Customer Histories

📄 arXiv: 2611.03302v1 📥 PDF

作者: Denis Burakov

分类: stat.ML, cs.LG, q-fin.ST

发布日期: 2026-11-02

备注: 43 pages, 12 figures, 15 tables. Code: https://github.com/deburky/EventGPT. Weights: https://huggingface.co/deburky/EventGPT

💡 一句话要点

提出EventGPT以解决银行客户事件预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事件预测 无标签学习 银行客户分析 层次因果变换器 多模态数据

📋 核心要点

  1. 现有方法在银行客户事件预测中依赖大量标签数据，限制了模型的可扩展性和适用性。
  2. EventGPT通过预训练来预测客户的下一个事件，利用无标签数据进行概率估计，提供了更灵活的表示方式。
  3. 实验结果显示，EventGPT在多个预测任务上表现优异，ROC-AUC分数高于传统的特征工程方法，且训练时间显著缩短。

📝 摘要（中文）

本文提出了一种名为EventGPT的模型，通过预训练来预测客户的下一个事件，从而在不需要标签的情况下估计未来事件的概率，并为监督学习的银行任务提供可重用的表示。EventGPT是一个层次因果变换器，利用公共多模态银行数据集（MBD-mini）进行下一个令牌的最大似然估计。该模型在一块L4 GPU上训练约两小时，能够处理高达8192个令牌的窗口。实验结果表明，EventGPT在多个目标上达到了0.79到0.92的ROC-AUC分数，超越了传统的特征工程方法。

🔬 方法详解

问题定义：本文旨在解决银行客户事件预测中的标签依赖问题，现有方法通常需要大量标注数据，限制了模型的灵活性和可扩展性。

核心思路：EventGPT通过预训练模型来预测客户的下一个事件，利用无标签数据进行概率估计，从而提供可重用的表示，适用于多种下游任务。

技术框架：EventGPT采用层次因果变换器架构，使用最大似然估计进行下一个令牌的预测，训练过程中保持每个事件一个状态，能够处理长达8192个令牌的输入。

关键创新：EventGPT的主要创新在于其无标签学习能力，通过对客户历史数据的建模，能够在多个预测任务中取得优异的性能，显著减少了对标注数据的依赖。

关键设计：模型在训练时使用了特定的损失函数以优化下一个事件的预测，同时在特征工程方面，结合了114个工程特征进行对比，确保了模型的有效性和准确性。

📊 实验亮点

实验结果显示，EventGPT在五个预测目标上达到了0.79到0.92的ROC-AUC分数，显著优于传统的特征工程方法。相比之下，基于114个工程特征的梯度提升模型需要10,000到300,000个标注客户月份才能匹配EventGPT的表现，显示了其在数据利用效率上的优势。

🎯 应用场景

该研究的潜在应用领域包括银行业的客户行为分析、个性化营销和风险管理等。通过提供准确的事件预测，银行可以更好地理解客户需求，优化服务和产品设计，从而提升客户满意度和业务效率。未来，EventGPT的框架也可以扩展到其他领域，如电商和社交媒体分析等。

📄 摘要（原文）

A model pretrained to predict a customer's next event can estimate the probability of future events without training on their labels and provide a reusable representation for supervised downstream banking tasks. We pretrain EventGPT, a hierarchical causal transformer, by next-token maximum likelihood estimation on the public Multimodal Banking Dataset (MBD-mini: 100,224 clients, 38.8 million transactions and 66.3 million geolocation pings). Keeping one state per event, EventGPT trains in about two hours on one L4 GPU at windows up to 8,192 tokens. From its next-event distribution, with no labels, EventGPT scores five targets of the form "the client makes a transaction of a given kind for the first time next month" at ROC-AUC 0.79 to 0.92. Gradient boosting on 114 engineered features needs 10,000 to 300,000 labeled client-months to match it on four targets and stays below it on the fifth. For product prediction, frozen EventGPT embeddings score below the engineered features (mean ROC-AUC 0.787 against 0.808 over five test folds), and a rank-averaged ensemble of EventGPT, profile fields and token counts with the engineered features adds 0.014 to 0.017, of which 0.007 to 0.016 is EventGPT's own. The code and pretrained weights are released.