SeqLLM: Augmenting LLMs with Behavioral-Sequence Modeling for High-Stakes Decisions at WeChat Pay

📄 arXiv: 2608.03063v1 📥 PDF

作者: Guilin Li, Jiaxing Zhang, Matthias Hwai Yong Tan, Bo Wang, Weiran Huang

分类: cs.CL

发布日期: 2026-08-04

💡 一句话要点

提出SeqLLM以解决微信支付商户风险控制问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 商户风险控制 大型语言模型 行为序列建模 微信支付 推荐系统 欺诈检测 性能提升

📋 核心要点

  1. 现有方法在商户风险控制中面临高误报和漏报率的挑战，难以同时处理文本和行为序列信息。
  2. SeqLLM通过将行为序列建模与预训练LLM结合，设计了紧凑的行为事件词汇和轻量级投影器，解决了序列建模能力不足的问题。
  3. 在实验中，SeqLLM显著提高了筛查精度和推荐系统的性能，展示了其在实际应用中的有效性。

📝 摘要（中文）

在大型支付平台上，商户风险控制每天需要筛查数千万商户，错误的正例会损害合法商户，而错误的负例则会漏掉有害活动。最复杂的情况需要同时理解商户的文本资料和长期行为序列。大型语言模型（LLMs）在文本处理上表现优异，但无法原生建模此类序列，且适应这些序列往往会导致灾难性遗忘。本文提出SeqLLM框架，通过将行为序列建模添加到预训练的LLM中，同时保留其语言能力。SeqLLM结合了三个组件：紧凑的离散词汇表示行为事件为原生标记；轻量级投影器通过两阶段对齐课程训练，将这些标记嵌入LLM的语义空间；以及通过任务前缀监督微调获取序列建模能力的前缀引导能力注入。SeqLLM在微信支付中部署，每天筛查数百万商户。与生产中的DeepSeek基础LLM相比，筛查精度从92.0%提升至97.5%。其预训练的行为标记嵌入在服务于亿级交易流量的生产欺诈检测器中将Precision@Top-0.01%提升了26.8个百分点。除了支付，SeqLLM在公共推荐基准上也取得了最先进的结果。

🔬 方法详解

问题定义：本文旨在解决大型支付平台商户风险控制中的高误报和漏报问题，现有方法无法有效结合商户的文本资料和长期行为序列，导致识别能力不足。

核心思路：SeqLLM的核心思路是将行为序列建模集成到预训练的LLM中，保持其语言处理能力的同时，增强其对行为序列的理解能力。通过设计紧凑的行为事件词汇和轻量级投影器，SeqLLM能够有效地将行为信息嵌入到LLM的语义空间中。

技术框架：SeqLLM的整体架构包括三个主要模块：1) 紧凑的离散词汇，表示行为事件；2) 轻量级投影器，通过两阶段对齐课程训练，将行为标记嵌入LLM；3) 前缀引导能力注入，通过任务前缀监督微调获取序列建模能力。

关键创新：SeqLLM的关键创新在于其通过前缀引导能力注入的方法，避免了传统方法中因持续预训练导致的灾难性遗忘，能够有效地结合文本和行为序列信息。

关键设计：在设计中，SeqLLM使用了紧凑的行为事件词汇，确保标记的有效性；轻量级投影器的训练采用了两阶段对齐课程，以提高嵌入的准确性；同时，前缀引导能力注入的策略使得模型在特定任务上具备更强的适应性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在实验中，SeqLLM将商户筛查精度从92.0%提升至97.5%，并在生产欺诈检测器中将Precision@Top-0.01%提升了26.8个百分点。此外，在公共推荐基准上，SeqLLM在MovieLens和Amazon上相较于强大的User-LLM基线提高了高达32%的Recall@5，显示出其优越的性能。

🎯 应用场景

SeqLLM的研究成果在商户风险控制领域具有重要的应用价值，能够有效提高支付平台的安全性和用户体验。此外，其在推荐系统中的表现也表明了其广泛的适用性，未来可扩展至更多领域，如金融风控和个性化推荐等。

📄 摘要（原文）

Merchant risk control at large payment platforms screens tens of millions of merchants daily, where false positives harm legitimate merchants and false negatives leave harmful activity undetected. The hardest cases require jointly understanding a merchant's textual profile and long behavioral sequence. Large language models (LLMs) excel at text but cannot natively model such sequences, while adapting them often causes catastrophic forgetting. We present SeqLLM, a framework that adds behavioral-sequence modeling to a pretrained LLM while preserving its language ability. SeqLLM combines three components: a compact discrete vocabulary that represents behavioral events as native tokens; a lightweight projector, trained with a two-stage alignment curriculum, that grounds these tokens in the LLM's semantic space; and prefix-guided capability injection, which acquires sequence-modeling ability through task-prefixed supervised fine-tuning rather than continual pre-training. SeqLLM is deployed at WeChat Pay, screening millions of merchants daily. Against the production DeepSeek-based LLM baseline, it raises screening precision from 92.0% to 97.5%. Its pretrained behavior-token embeddings also improve Precision@Top-0.01% by 26.8 percentage points in a production fraud detector serving billion-scale transaction traffic. Beyond payments, SeqLLM achieves state-of-the-art results on public recommendation benchmarks. On MovieLens and Amazon, it surpasses the strong User-LLM baseline by up to 32% relative Recall@5 while retaining markedly stronger language ability. On RecIF, it improves Pass@32 by 14.2% over the full OneRec-8B pipeline using only one-fifth of its GPU-days.