Transparent AI for Mathematics: Transformer-Based Large Language Models for Mathematical Entity Relationship Extraction with XAI

📄 arXiv: 2603.06348v1 📥 PDF

作者: Tanjim Taharat Aurpa

分类: cs.CL

发布日期: 2026-03-06

💡 一句话要点

提出基于Transformer的数学实体关系抽取模型，并结合XAI提升透明度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数学文本理解 实体关系抽取 Transformer模型 BERT 可解释人工智能 SHAP 数学问题求解

📋 核心要点

  1. 数学文本理解因其专业实体和复杂关系而具有挑战性，现有方法难以有效抽取数学实体间的关系。
  2. 论文提出将数学问题理解转化为数学实体关系抽取任务，利用Transformer模型学习实体间关系。
  3. 实验表明，基于BERT的模型在数学实体关系抽取任务上表现出色，准确率高达99.39%，并结合XAI提升模型透明度。

📝 摘要（中文）

本研究将数学问题理解形式化为数学实体关系抽取(MERE)任务，其中操作数被视为实体，运算符被视为它们之间的关系。研究应用基于Transformer的模型自动从数学文本中提取这些关系，其中基于Transformer的双向编码器表示(BERT)表现最佳，准确率达到99.39%。为了增强模型预测的透明度和信任度，研究结合了可解释人工智能(XAI)，使用Shapley加性解释(SHAP)。可解释性分析揭示了特定的文本和数学特征如何影响关系预测，从而深入了解特征重要性和模型行为。通过结合基于Transformer的学习、特定于任务的数据集和可解释的建模，这项工作为MERE提供了一个有效且可解释的框架，支持在自动问题解决、知识图谱构建和智能教育系统中的未来应用。

🔬 方法详解

问题定义：论文旨在解决数学文本理解中数学实体关系抽取的问题。现有方法在处理数学文本中复杂的实体关系时存在不足，缺乏对模型预测结果的解释性，难以提升用户信任度。

核心思路：论文的核心思路是将数学问题理解转化为数学实体关系抽取（MERE）任务，将操作数视为实体，运算符视为实体间的关系。通过训练Transformer模型自动学习和抽取这些关系，并利用可解释人工智能（XAI）方法提升模型透明度。

技术框架：整体框架包括数据预处理、模型训练和可解释性分析三个主要阶段。首先，构建特定于任务的数学文本数据集。然后，使用Transformer模型（特别是BERT）进行训练，以学习数学实体之间的关系。最后，利用SHAP等XAI技术分析模型预测结果，揭示关键特征对关系预测的影响。

关键创新：论文的关键创新在于将数学问题理解形式化为数学实体关系抽取任务，并结合Transformer模型和XAI技术。这种方法不仅提高了关系抽取的准确率，还增强了模型的可解释性，为用户提供了对模型预测结果的信任。

关键设计：论文使用BERT作为基础模型，并针对数学文本的特点进行了微调。损失函数采用交叉熵损失函数，优化器采用AdamW。此外，论文使用SHAP值来解释模型的预测结果，分析每个特征对预测结果的贡献度。具体参数设置在论文中有详细描述，例如学习率、batch size等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于BERT的模型在数学实体关系抽取任务上取得了显著的性能，准确率高达99.39%。通过SHAP分析，论文揭示了模型预测的关键特征，例如运算符的类型和操作数的位置，从而增强了模型的可解释性。该研究为数学文本理解提供了一个有效且可解释的解决方案。

🎯 应用场景

该研究成果可应用于多个领域，包括自动问题求解系统，能够帮助机器理解和解决数学问题；知识图谱构建，可以构建数学知识图谱，方便知识检索和推理；智能教育系统，能够为学生提供个性化的学习辅导，并解释解题步骤。该研究有助于推动数学教育的智能化发展。

📄 摘要（原文）

Mathematical text understanding is a challenging task due to the presence of specialized entities and complex relationships between them. This study formulates mathematical problem interpretation as a Mathematical Entity Relation Extraction (MERE) task, where operands are treated as entities and operators as their relationships. Transformer-based models are applied to automatically extract these relations from mathematical text, with Bidirectional Encoder Representations from Transformers (BERT) achieving the best performance, reaching an accuracy of 99.39%. To enhance transparency and trust in the model's predictions, Explainable Artificial Intelligence (XAI) is incorporated using Shapley Additive Explanations (SHAP). The explainability analysis reveals how specific textual and mathematical features influence relation prediction, providing insights into feature importance and model behavior. By combining transformer-based learning, a task-specific dataset, and explainable modeling, this work offers an effective and interpretable framework for MERE, supporting future applications in automated problem solving, knowledge graph construction, and intelligent educational systems.