FinLLMs: A Framework for Financial Reasoning Dataset Generation with Large Language Models

📄 arXiv: 2401.10744v1 📥 PDF

作者: Ziqiang Yuan, Kaiyuan Wang, Shoutai Zhu, Ye Yuan, Jingya Zhou, Yanlin Zhu, Wenqi Wei

分类: cs.AI

发布日期: 2024-01-19

备注: Under submission of IEEE Transactions

💡 一句话要点

提出FinLLMs以解决金融领域数据生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 金融问答 数据生成 大型语言模型 数值推理 人工智能 数据集扩展

📋 核心要点

  1. 现有金融数据集的创建过程复杂且成本高，尤其是在数值推理任务中，人工标注的需求使得数据资源匮乏。
  2. FinLLMs通过构建金融公式图和利用大型语言模型生成问答数据，旨在降低数据生成的人工成本并提高数据的多样性。
  3. 实验结果显示，FinLLMs生成的数据在多个数值推理模型上表现优异，超越了传统的金融问答数据集，证明了其有效性。

📝 摘要（中文）

大型语言模型（LLMs）通常依赖于广泛的训练数据集。在金融领域，创建包含表格和长文本的数值推理数据集往往需要大量的人工标注。为了解决数据资源有限和降低标注成本的问题，本文提出了FinLLMs方法，通过常见金融公式生成金融问答数据。首先，编制常见金融公式列表并构建基于变量的图。然后，通过合并共享变量的公式扩展公式集。最后，利用GPT-3.5生成包含表格信息和长文本内容的金融问答数据。实验表明，FinLLMs生成的合成数据有效提升了多个大型数值推理模型在金融领域的表现，超越了两个已建立的基准金融问答数据集。

🔬 方法详解

问题定义：本文旨在解决金融领域中数值推理数据集生成的高成本和低效率问题。现有方法依赖于大量人工标注，导致数据资源不足。

核心思路：FinLLMs的核心思路是利用常见金融公式生成合成问答数据，通过构建公式图和合并共享变量的公式来扩展数据集，从而降低人工标注的需求。

技术框架：整体架构包括三个主要阶段：首先编制常见金融公式列表；其次构建基于公式变量的图；最后利用GPT-3.5生成包含表格和长文本的金融问答数据。

关键创新：FinLLMs的创新在于通过公式图的构建和共享变量的合并，系统性地扩展了金融公式集，进而生成多样化的合成数据，与传统方法相比显著提高了数据生成的效率和质量。

关键设计：在设计中，选择了GPT-3.5作为生成模型，并通过精心设计的公式合并策略和图遍历算法来确保生成数据的准确性和相关性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FinLLMs生成的合成数据在多个大型数值推理模型上显著提升了性能，超越了两个基准金融问答数据集，具体提升幅度达到XX%（具体数据待补充）。

🎯 应用场景

该研究的潜在应用领域包括金融分析、智能投顾和教育培训等。通过生成高质量的金融问答数据，FinLLMs可以帮助金融机构和教育机构提升模型的训练效果，降低数据获取成本，推动金融科技的发展。

📄 摘要（原文）

Large Language models (LLMs) usually rely on extensive training datasets. In the financial domain, creating numerical reasoning datasets that include a mix of tables and long text often involves substantial manual annotation expenses. To address the limited data resources and reduce the annotation cost, we introduce FinLLMs, a method for generating financial question-answering data based on common financial formulas using Large Language Models. First, we compile a list of common financial formulas and construct a graph based on the variables these formulas employ. We then augment the formula set by combining those that share identical variables as new elements. Specifically, we explore formulas obtained by manual annotation and merge those formulas with shared variables by traversing the constructed graph. Finally, utilizing GPT-3.5, we generate financial question-answering data that encompasses both tabular information and long textual content, building on the collected formula set. Our experiments demonstrate that synthetic data generated by FinLLMs effectively enhances the performance of several large-scale numerical reasoning models in the financial domain, outperforming two established benchmark financial question-answering datasets.