FinanceMath: Knowledge-Intensive Math Reasoning in Finance Domains

📄 arXiv: 2311.09797v2 📥 PDF

作者: Yilun Zhao, Hongjun Liu, Yitao Long, Rui Zhang, Chen Zhao, Arman Cohan

分类: cs.CL

发布日期: 2023-11-16 (更新: 2024-08-08)

备注: ACL 2024 Oral

💡 一句话要点

提出FinanceMath以评估金融领域知识密集型数学推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 金融推理 知识密集型 大型语言模型 基准评估 外部知识整合 Python解决方案 Chain-of-Thought Program-of-Thought

📋 核心要点

  1. 现有方法在解决金融领域的知识密集型数学推理问题时，准确性和效率均存在不足。
  2. FinanceMath通过构建包含1200个问题的基准，结合文本和表格内容，提供高质量的解决方案参考，提升评估标准。
  3. 实验结果显示，当前最佳模型在推理任务中的表现仍有提升空间，且外部知识的整合对模型性能有显著影响。

📝 摘要（中文）

我们介绍了FinanceMath，这是一个新颖的基准，旨在评估大型语言模型（LLMs）在解决知识密集型数学推理问题方面的能力。与以往研究相比，本研究具有三项核心进展。首先，FinanceMath包含1200个问题，涵盖文本和表格内容，要求具备大学级别的金融知识。其次，我们提供了专家注释的详细解决方案参考，采用Python程序格式，确保了高质量的基准评估。最后，我们评估了44种LLMs，采用了Chain-of-Thought和Program-of-Thought提示方法，实验结果显示当前最佳系统（即GPT-4o）在CoT提示下仅达到60.9%的准确率，仍有较大提升空间。尽管通过外部知识增强LLMs可以改善模型性能，但其准确率仍显著低于92%的估计人类专家表现。我们相信FinanceMath能够推动未来在领域特定知识检索和整合方面的研究，特别是在解决推理密集型任务的背景下。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在金融领域知识密集型数学推理问题上的评估不足，现有方法无法有效处理复杂的文本和表格信息。

核心思路：通过构建FinanceMath基准，提供高质量的专家注释解决方案，结合多种提示方法，提升LLMs在金融推理任务中的表现。

技术框架：整体架构包括问题生成、知识库构建、模型评估和结果分析四个主要模块。问题生成模块负责创建多样化的数学推理问题，知识库则整合金融领域的相关知识，模型评估通过多种提示方法进行。

关键创新：FinanceMath的核心创新在于其问题的多样性和复杂性，以及提供详细的Python解决方案，确保评估的准确性和可靠性。这与现有方法的单一问题类型和缺乏参考解决方案形成鲜明对比。

关键设计：在模型评估中，采用Chain-of-Thought和Program-of-Thought两种提示方法，设置了不同的参数以优化模型性能，确保评估结果的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，当前最佳模型GPT-4o在Chain-of-Thought提示下仅达到60.9%的准确率，显示出显著的提升空间。此外，通过外部知识增强，Gemini-1.5-Pro的准确率从47.5%提升至54.5%，但仍远低于92%的估计人类专家表现，突显了该领域的挑战性。

🎯 应用场景

FinanceMath的研究成果可广泛应用于金融教育、智能财务顾问和金融数据分析等领域。通过提升LLMs在金融推理任务中的表现，能够为金融决策提供更为精准的支持，推动金融科技的发展。未来，该基准还可能促进领域特定知识的检索与整合研究，推动相关技术的进步。

📄 摘要（原文）

We introduce FinanceMath, a novel benchmark designed to evaluate LLMs' capabilities in solving knowledge-intensive math reasoning problems. Compared to prior works, this study features three core advancements. First, FinanceMath includes 1,200 problems with a hybrid of textual and tabular content. These problems require college-level knowledge in the finance domain for effective resolution. Second, we provide expert-annotated, detailed solution references in Python program format, ensuring a high-quality benchmark for LLM assessment. We also construct a finance-domain knowledge bank and investigate various knowledge integration strategies. Finally, we evaluate a wide spectrum of 44 LLMs with both Chain-of-Thought and Program-of-Thought prompting methods. Our experimental results reveal that the current best-performing system (i.e., GPT-4o) achieves only 60.9% accuracy using CoT prompting, leaving substantial room for improvement. Moreover, while augmenting LLMs with external knowledge can improve model performance (e.g., from 47.5% to 54.5% for Gemini-1.5-Pro), their accuracy remains significantly lower than the estimated human expert performance of 92%. We believe that FinanceMath can advance future research in the area of domain-specific knowledge retrieval and integration, particularly within the context of solving reasoning-intensive tasks.