Using Zero-shot Prompting in the Automatic Creation and Expansion of Topic Taxonomies for Tagging Retail Banking Transactions

📄 arXiv: 2401.06790v2 📥 PDF

作者: Daniel de S. Moraes, Pedro T. C. Santos, Polyana B. da Costa, Matheus A. S. Pinto, Ivan de J. P. Pinto, Álvaro M. G. da Veiga, Sergio Colcher, Antonio J. G. Busson, Rafael H. Rocha, Rennan Gaio, Rafael Miceli, Gabriela Tourinho, Marcos Rabaioli, Leandro Santos, Fellipe Marques, David Favaro

分类: cs.CL, cs.AI

发布日期: 2024-01-08 (更新: 2024-02-11)

💡 一句话要点

提出无监督方法自动构建和扩展零售银行交易主题分类法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 主题建模 无监督学习 大型语言模型 零-shot 提示 分类法扩展 金融科技 数据标记

📋 核心要点

  1. 现有方法在自动构建和扩展主题分类法时依赖于监督学习，缺乏灵活性和适应性。
  2. 本研究提出了一种无监督的方法，结合主题建模和LLMs，通过零-shot 提示实现分类法的自动扩展。
  3. 实验结果显示，所创建的分类法连贯性超过90%，而扩展后的分类法在父节点预测中F1分数超过70%。

📝 摘要（中文）

本研究提出了一种无监督方法，利用基于指令微调的大型语言模型（LLMs）自动构建和扩展主题分类法。我们应用主题建模和关键词提取技术创建初始主题分类法，并使用LLMs对结果进行后处理以建立层次结构。为了扩展现有分类法，我们采用零-shot 提示技术来确定新节点的添加位置，这是首次在分类法任务中提出这种方法。通过对零售银行数据集中的商家进行标记，我们评估了所创建分类法的质量，结果显示选择的分类法的连贯性超过90%。使用LLMs扩展分类法在父节点预测方面也取得了令人兴奋的结果，F1分数超过70%。

🔬 方法详解

问题定义：本论文旨在解决自动构建和扩展主题分类法的挑战，现有方法通常依赖于监督学习，限制了其灵活性和适应性。

核心思路：论文提出了一种无监督的方法，结合主题建模和关键词提取技术，利用LLMs进行后处理，并通过零-shot 提示来扩展分类法。这种设计使得分类法的构建和扩展更加高效和灵活。

技术框架：整体架构包括初始主题分类法的创建、使用LLMs进行后处理以建立层次结构，以及通过零-shot 提示扩展分类法。主要模块包括主题建模、关键词提取和LLMs处理。

关键创新：最重要的技术创新在于首次将零-shot 提示应用于分类法任务，显著提高了分类法的扩展能力，与传统的监督学习方法形成鲜明对比。

关键设计：在参数设置上，使用了微调的LLMs进行后处理，损失函数设计为优化分类法的连贯性和准确性，网络结构则基于现有的LLMs架构进行调整以适应分类法的需求。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果显示，所创建的分类法的连贯性超过90%，而在扩展后的分类法中，父节点预测的F1分数超过70%。这些结果表明，所提出的方法在分类法构建和扩展方面具有显著的效果提升。

🎯 应用场景

该研究的潜在应用领域包括金融科技、电子商务和数据分析等行业，能够帮助企业更高效地管理和标记交易数据，提升数据处理的自动化水平。未来，该方法可能在其他领域的分类法构建中得到推广，推动无监督学习技术的发展。

📄 摘要（原文）

This work presents an unsupervised method for automatically constructing and expanding topic taxonomies using instruction-based fine-tuned LLMs (Large Language Models). We apply topic modeling and keyword extraction techniques to create initial topic taxonomies and LLMs to post-process the resulting terms and create a hierarchy. To expand an existing taxonomy with new terms, we use zero-shot prompting to find out where to add new nodes, which, to our knowledge, is the first work to present such an approach to taxonomy tasks. We use the resulting taxonomies to assign tags that characterize merchants from a retail bank dataset. To evaluate our work, we asked 12 volunteers to answer a two-part form in which we first assessed the quality of the taxonomies created and then the tags assigned to merchants based on that taxonomy. The evaluation revealed a coherence rate exceeding 90% for the chosen taxonomies. The taxonomies' expansion with LLMs also showed exciting results for parent node prediction, with an f1-score above 70% in our taxonomies.