FinBen: A Holistic Financial Benchmark for Large Language Models
作者: Qianqian Xie, Weiguang Han, Zhengyu Chen, Ruoyu Xiang, Xiao Zhang, Yueru He, Mengxi Xiao, Dong Li, Yongfu Dai, Duanyu Feng, Yijing Xu, Haoqiang Kang, Ziyan Kuang, Chenhan Yuan, Kailai Yang, Zheheng Luo, Tianlin Zhang, Zhiwei Liu, Guojun Xiong, Zhiyang Deng, Yuechen Jiang, Zhiyuan Yao, Haohang Li, Yangyang Yu, Gang Hu, Jiajia Huang, Xiao-Yang Liu, Alejandro Lopez-Lira, Benyou Wang, Yanzhao Lai, Hao Wang, Min Peng, Sophia Ananiadou, Jimin Huang
分类: cs.CL, cs.AI, cs.CE
发布日期: 2024-02-20 (更新: 2024-06-19)
备注: 26 pages, 11 figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出FinBen以解决金融领域LLM评估不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 金融基准 大型语言模型 开源评估 信息提取 文本生成 风险管理 预测 问答
📋 核心要点
- 现有的LLMs在金融领域的应用受到评估基准不足的限制，导致其潜力未能充分发挥。
- FinBen作为首个全面的开源评估基准，涵盖多种金融任务，提供了丰富的数据集和评估方法。
- 实验结果表明，GPT-4在信息提取和股票交易方面表现突出，而Gemini在文本生成和预测任务中更具优势。
📝 摘要（中文）
大型语言模型（LLMs）在自然语言处理（NLP）领域的变革性影响显著，但在金融领域的潜力尚未得到充分探索，主要由于缺乏全面的评估基准、LLMs的快速发展以及金融任务的复杂性。本文介绍了FinBen，这是第一个广泛的开源评估基准，涵盖24个金融任务的36个数据集，涉及信息提取、文本分析、问答、文本生成、风险管理、预测和决策等七个关键方面。FinBen的创新包括更广泛的任务和数据集、首次对股票交易的评估、创新的代理和增强检索生成（RAG）评估，以及三个新的开源评估数据集。对15个代表性LLMs的评估显示，虽然LLMs在信息提取和文本分析方面表现优异，但在高级推理和复杂任务如文本生成和预测方面存在困难。
🔬 方法详解
问题定义：本文旨在解决金融领域大型语言模型（LLMs）评估基准不足的问题。现有方法缺乏全面性，无法有效评估LLMs在复杂金融任务中的表现。
核心思路：论文提出FinBen，一个包含36个数据集和24个金融任务的开源评估基准，旨在为金融领域的LLMs提供全面的评估框架。通过多样化的任务设置，FinBen能够更好地反映LLMs在实际金融应用中的能力。
技术框架：FinBen的整体架构包括信息提取、文本分析、问答、文本生成、风险管理、预测和决策等七个模块。每个模块对应特定的金融任务，确保评估的全面性和针对性。
关键创新：FinBen的主要创新在于首次对股票交易进行评估，并引入了增强检索生成（RAG）评估方法。此外，提供了三个新的开源评估数据集，进一步丰富了评估内容。
关键设计：在数据集构建过程中，考虑了任务的多样性和复杂性，确保每个数据集能够有效测试LLMs的不同能力。损失函数和模型参数设置经过精心设计，以优化模型在特定任务上的表现。通过对15个代表性LLMs的评估，验证了FinBen的有效性和实用性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GPT-4在信息提取和股票交易任务中表现优异，而Gemini在文本生成和预测任务中更具优势。FinBen的评估结果为12个团队的创新解决方案提供了支持，超越了GPT-4的表现，展示了其在金融LLMs领域的潜力。
🎯 应用场景
FinBen的研究成果在金融领域具有广泛的应用潜力，能够为金融科技公司、投资机构和学术研究提供有效的LLMs评估工具。通过推动金融领域LLMs的创新，FinBen有助于提升金融决策的智能化水平，促进金融服务的数字化转型。
📄 摘要（原文）
LLMs have transformed NLP and shown promise in various fields, yet their potential in finance is underexplored due to a lack of comprehensive evaluation benchmarks, the rapid development of LLMs, and the complexity of financial tasks. In this paper, we introduce FinBen, the first extensive open-source evaluation benchmark, including 36 datasets spanning 24 financial tasks, covering seven critical aspects: information extraction (IE), textual analysis, question answering (QA), text generation, risk management, forecasting, and decision-making. FinBen offers several key innovations: a broader range of tasks and datasets, the first evaluation of stock trading, novel agent and Retrieval-Augmented Generation (RAG) evaluation, and three novel open-source evaluation datasets for text summarization, question answering, and stock trading. Our evaluation of 15 representative LLMs, including GPT-4, ChatGPT, and the latest Gemini, reveals several key findings: While LLMs excel in IE and textual analysis, they struggle with advanced reasoning and complex tasks like text generation and forecasting. GPT-4 excels in IE and stock trading, while Gemini is better at text generation and forecasting. Instruction-tuned LLMs improve textual analysis but offer limited benefits for complex tasks such as QA. FinBen has been used to host the first financial LLMs shared task at the FinNLP-AgentScen workshop during IJCAI-2024, attracting 12 teams. Their novel solutions outperformed GPT-4, showcasing FinBen's potential to drive innovation in financial LLMs. All datasets, results, and codes are released for the research community: https://github.com/The-FinAI/PIXIU.