DocMath-Eval: Evaluating Math Reasoning Capabilities of LLMs in Understanding Long and Specialized Documents

📄 arXiv: 2311.09805v3 📥 PDF

作者: Yilun Zhao, Yitao Long, Hongjun Liu, Ryo Kamoi, Linyong Nan, Lyuhao Chen, Yixin Liu, Xiangru Tang, Rui Zhang, Arman Cohan

分类: cs.CL

发布日期: 2023-11-16 (更新: 2024-08-09)

备注: ACL 2024 Oral

💡 一句话要点

提出DocMath-Eval以评估LLMs在理解长文档中的数学推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数值推理 大型语言模型 长文档理解 专业文档 评估基准 思维链 程序思维

📋 核心要点

  1. 当前LLMs在解决复杂数值推理问题时，仍显著落后于人类专家，尤其是在长文档的理解上。
  2. 本文提出DocMath-Eval基准，专注于评估LLMs在处理包含文本和表格的专业文档中的数值推理能力。
  3. 通过对48个LLMs的评估，发现即使是最先进的模型在复杂问题上的表现仍有待提升，揭示了现有技术的局限性。

📝 摘要（中文）

近年来，大型语言模型（LLMs）在解决类似考试的数学文字问题上表现出色。然而，这些数值推理技能在真实场景中的有效性，尤其是在专家领域，仍然未得到充分探索。本文提出了DocMath-Eval，一个全面的基准，专门用于评估LLMs在理解和分析包含文本和表格的专业文档中的数值推理能力。我们对48个LLMs进行了广泛评估，采用了思维链和程序思维的提示方法，旨在全面评估现有LLMs在DocMath-Eval中的能力和局限性。研究发现，即使是当前表现最佳的系统（如GPT-4o），在解决复杂的数值推理问题时仍显著落后于人类专家。我们相信DocMath-Eval可以作为评估LLMs在专家领域解决挑战性数值推理问题能力的有价值基准。

🔬 方法详解

问题定义：本文旨在解决LLMs在理解和分析长且专业文档时的数值推理能力不足的问题。现有方法在处理复杂的数值推理任务时，往往无法达到人类专家的水平。

核心思路：论文提出DocMath-Eval基准，通过设计专门的评估任务，来系统性地测试LLMs在长文档中的数值推理能力，特别是结合文本和表格信息的能力。

技术框架：DocMath-Eval的整体架构包括数据集构建、评估指标设计和模型评估三个主要模块。数据集包含多种专业文档，评估指标则关注模型的推理准确性和复杂性处理能力。

关键创新：DocMath-Eval的主要创新在于其专门针对长文档和复杂数值推理任务的设计，填补了现有评估基准在专家领域的空白。与传统的数学问题评估不同，DocMath-Eval强调了文本与表格信息的结合。

关键设计：在实验中，采用了思维链和程序思维的提示方法，以引导模型进行更有效的推理。同时，针对不同模型的参数设置进行了细致调整，以确保评估结果的准确性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，当前最佳模型GPT-4o在处理DocMath-Eval中的复杂数值推理问题时，仍显著低于人类专家的表现，揭示了LLMs在长文档理解方面的局限性。这一发现强调了进一步研究和改进的必要性。

🎯 应用场景

DocMath-Eval的研究成果可广泛应用于教育、金融、医疗等领域，尤其是在需要处理复杂文档和进行数值推理的场景中。通过提升LLMs在这些领域的表现，可以为专业人士提供更为精准的辅助决策工具，推动相关行业的智能化进程。

📄 摘要（原文）

Recent LLMs have demonstrated remarkable performance in solving exam-like math word problems. However, the degree to which these numerical reasoning skills are effective in real-world scenarios, particularly in expert domains, is still largely unexplored. This paper introduces DocMath-Eval, a comprehensive benchmark specifically designed to evaluate the numerical reasoning capabilities of LLMs in the context of understanding and analyzing specialized documents containing both text and tables. We conduct an extensive evaluation of 48 LLMs with Chain-of-Thought and Program-of-Thought prompting methods, aiming to comprehensively assess the capabilities and limitations of existing LLMs in DocMath-Eval. We found that even the current best-performing system (i.e., GPT-4o) still significantly lags behind human experts in solving complex numerical reasoning problems grounded in long contexts. We believe that DocMath-Eval can serve as a valuable benchmark for evaluating LLMs' capabilities in solving challenging numerical reasoning problems within expert domains.