MINT: A Universal Zero-Shot Predictor for Transaction Data

📄 arXiv: 2608.14198v1 📥 PDF

作者: Parameswaran Kamalaruban, Viktor Drobnyi, Maeve Madigan, Julia Rozanova, David Sutton, Stuart Burrell

分类: cs.LG, cs.CL

发布日期: 2026-08-14

💡 一句话要点

提出MINT以解决金融交易数据的零-shot预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 金融交易数据 零-shot学习 多模态指令网络 预测问答 嵌入注入 模型适应性 上下文嵌入 指令调优

📋 核心要点

  1. 现有的支付基础模型在灵活的零-shot推理方面存在局限，无法充分利用交易数据中的预测信号。
  2. MINT框架通过轻量级嵌入注入和指令调优，将交易序列编码器与解码器-only LLM连接，提升了模型的适应性。
  3. MINT在预测问答任务中表现出色，相较于文本序列化基线，显著降低了输入令牌数量和延迟，提升了性能。

📝 摘要（中文）

银行分析顺序金融交易数据以执行多项任务，包括欺诈预防、信用风险评估和个性化推荐。为了提高这些任务的预测准确性，支付基础模型将交易序列数据编码为丰富的上下文嵌入，然而现有模型在灵活的零-shot推理方面存在局限。为了解决这些问题，本文提出了多模态指令网络（MINT），通过轻量级嵌入注入、交易语言对齐和指令调优，将预训练的交易序列编码器与解码器-only LLM连接。实验结果表明，MINT在分布内和分布外问题上均实现了最先进的预测问答性能，同时显著减少了输入令牌、延迟和内存消耗。

🔬 方法详解

问题定义：本文旨在解决现有支付基础模型在零-shot预测任务中的适应性不足问题，尤其是在处理金融交易数据时，现有方法往往无法充分挖掘数据中的预测信号。

核心思路：MINT框架通过将预训练的交易序列编码器与解码器-only LLM连接，采用轻量级嵌入注入和指令调优的方式，旨在提高模型在新任务上的灵活性和准确性。

技术框架：MINT的整体架构包括三个主要模块：交易序列编码器、轻量级嵌入注入模块和解码器-only LLM。首先，交易序列编码器将交易数据转换为上下文嵌入，然后通过嵌入注入模块与LLM对齐，最后进行指令调优以适应特定任务。

关键创新：MINT的主要创新在于其轻量级嵌入注入和交易语言对齐策略，使得模型能够在零-shot场景下有效利用交易数据的上下文信息，与传统的文本序列化方法相比，具有更高的效率和准确性。

关键设计：在设计上，MINT采用了紧凑的交易嵌入表示，减少了输入令牌的数量，并通过优化的损失函数和网络结构，提升了模型的训练效率和推理速度。具体参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MINT在分布内和分布外问题上的预测问答性能达到最先进水平，相较于文本序列化基线，输入令牌数量减少了显著比例，延迟和内存消耗也大幅降低，展示了其在多模态推理和零-shot预测任务中的优势。

🎯 应用场景

MINT框架在金融领域具有广泛的应用潜力，能够有效支持欺诈检测、信用风险评估和个性化推荐等任务。其高效的零-shot预测能力使得银行和金融机构能够快速适应新的业务需求，提升决策效率和准确性。未来，MINT还可能扩展到其他领域的序列数据分析，如电商和社交媒体数据处理。

📄 摘要（原文）

Banks analyse sequential financial transaction data to perform many tasks, including fraud prevention, credit risk assessment and offer personalization. To improve the predictive accuracy of these tasks, Payments Foundation Models encode transaction sequence data as rich contextual embeddings, which can then be provided to task-specific models as features. However, these Foundation Models are not designed for flexible zero-shot reasoning across novel downstream prediction tasks, limiting their adaptability and utility. Existing LLM-based approaches to zero-shot prediction often fail to fully exploit the predictive signal within transaction data, while relying on costly text serialization or task-specific architectures that scale poorly. To address these limitations, we present the Multimodal Instruction Network for Transactions (MINT), a framework that connects a pretrained transaction sequence encoder to a decoder-only LLM through lightweight embedding injection, transaction-language alignment, and instruction tuning. We find that MINT achieves state-of-the-art predictive question-answering performance in both in-distribution and out-of-distribution questions, while substantially reducing input tokens, latency, and memory consumption compared to text-serialization baselines. Through comprehensive analyses of representations, alignment strategies, training data, and history length, we establish that compact transaction embeddings are a superior approach to transaction representation than text serialization for multimodal reasoning and zero-shot prediction tasks.