RxnMiner: A Multimodal Agent for Structured Reaction Data Extraction from Chemistry Figures

📄 arXiv: 2611.02826v1 📥 PDF

作者: Jinbo Hu, Songren Zhang, Chuanxun Fu, Jinrui Huang, Zhen Hao Wong, Dongxu Cui, Haoran Fan, Muhao Ge, Zhen Jian, Jian Zhou, Chengxiang Luo, Han Lyu, Haoyi Tao, Chaozheng Huang, Hanzheng Li, ZiChen Wang, Hengtian Ma, Jinyang Dai, Nan Wang, Yanhui Hong, Xi Fang, Guolin Ke

分类: cs.AI

发布日期: 2026-11-02

备注: 54 pages, 4 figures in the main text. Homepage: https://rxnminer.github.io/RxnMiner/ ; Code: https://github.com/rxnminer/RxnMiner ; Benchmark: https://huggingface.co/datasets/UniParser/RxnMiner-Benchmark ; Dataset: https://huggingface.co/datasets/UniParser/RxnMiner-Dataset

💡 一句话要点

提出RxnMiner以解决化学文献中反应数据提取问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 反应数据提取 多模态代理 化学工具箱 机器学习 自动化提取 文献分析

📋 核心要点

  1. 现有方法在从化学文献中提取反应数据时，依赖大量人工操作，效率低下且易出错。
  2. RxnMiner通过结合专家指导的提取程序与化学工具箱，自动化反应数据的提取过程，显著提高效率。
  3. 在ChemRxn-Bench基准上，RxnMiner的反应宏F1从21.0%提升至71.0%，相比现有最强提取系统的25.0%有显著提升。

📝 摘要（中文）

反应数据是机器学习在反应预测、条件推荐和逆合成规划中的基础，但从文献图中提取这些数据仍需大量人工努力。许多图形通过共享模板、取代表和产物网格编码多个实验。因此，恢复具体的反应记录需要分子识别、证据与实验条目的关联以及间接指定参与者的重构。我们提出了RxnMiner，一个多模态代理系统，结合专家指导的提取程序和化学工具箱来协调这些操作。该代理读取分子结构，解析共享和条目特定的证据，并从模板实例化参与者以组装源链接的反应记录。我们还介绍了ChemRxn-Bench，这是一个包含603个反应图和8547个手动注释和审核的反应记录的基准，在一个共同协议下评估分子身份和反应物-产物配对的准确性。

🔬 方法详解

问题定义：论文要解决从化学文献图中提取反应数据的具体问题。现有方法依赖人工操作，效率低且容易出错，难以满足大规模数据提取的需求。

核心思路：RxnMiner的核心思路是结合专家指导的提取程序与化学工具箱，通过自动化的方式进行反应数据的提取和重构，从而提高提取的准确性和效率。

技术框架：RxnMiner的整体架构包括多个模块：首先是分子结构的读取模块，然后是证据解析模块，接着是参与者实例化模块，最后是源链接反应记录的组装模块。这些模块协同工作，实现高效的数据提取。

关键创新：RxnMiner的最重要技术创新在于其多模态代理系统的设计，能够有效整合不同来源的信息，自动化处理复杂的反应数据提取任务，与现有方法相比，显著提升了提取的准确性和效率。

关键设计：在关键设计上，RxnMiner使用了Qwen3.8-Flash-Next作为骨干网络，并在提取过程中引入了化学工具箱，优化了参数设置和损失函数，使得模型在处理复杂反应数据时表现更佳。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在ChemRxn-Bench基准测试中，RxnMiner的反应宏F1从21.0%提升至71.0%，相比现有最强提取系统的25.0%有显著提升。此外，在不同骨干网络下，RxnMiner的性能提升幅度在9.4到25.5点之间，显示出其强大的适应性和有效性。

🎯 应用场景

RxnMiner的研究成果在化学领域具有广泛的应用潜力，特别是在药物发现、材料科学和化学合成等领域。通过自动化提取反应数据，研究人员可以更高效地进行数据分析和模型训练，从而加速科学研究的进程。未来，该技术还可能扩展到其他领域的文献数据提取。

📄 摘要（原文）

Reaction data underpin machine learning for reaction prediction, condition recommendation, and retrosynthetic planning, yet extracting these data from literature figures still requires substantial manual effort. Many figures encode multiple experiments through shared templates, substituent tables, and product grids. Recovering concrete reaction records therefore requires molecular recognition, association of evidence with individual experimental entries, and reconstruction of indirectly specified participants. We present RxnMiner, a multimodal agent system that combines an expert-informed extraction procedure with a chemistry toolbox to coordinate these operations. The agent reads molecular structures, resolves shared and entry-specific evidence, and instantiates participants from templates to assemble source-linked reaction records. We also introduce ChemRxn-Bench, a benchmark of 603 reaction figures with 8,547 manually annotated and reviewed reaction records, evaluated under a common protocol for exact molecular identity and reactant-product pairing. On this benchmark, with Qwen3.8-Flash-Next as the backbone, RxnMiner raises stereochemistry-aware reaction macro-F1 from 21.0% under direct prediction to 71.0%, compared with 25.0% for the strongest existing extraction system. Across five backbones, it also outperforms the same base agent without the extraction procedure and chemistry toolbox by 9.4 to 25.5 points. Applied without human intervention to 10,107 literature figures, RxnMiner produces a silver corpus of 88,202 source-linked reaction records.