Text2MDT: Extracting Medical Decision Trees from Medical Texts

📄 arXiv: 2401.02034v1 📥 PDF

作者: Wei Zhu, Wenfeng Li, Xing Tian, Pengfei Wang, Xiaoling Wang, Jin Chen, Yuanbin Wu, Yuan Ni, Guotong Xie

分类: cs.CL

发布日期: 2024-01-04

🔗 代码/项目: GITHUB

💡 一句话要点

提出Text2MDT以自动提取医学决策树

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学决策树 自动化提取 大型语言模型 管道框架 临床决策支持 文本分析 机器学习

📋 核心要点

  1. 现有医学决策树构建方法依赖手动标注，效率低且耗时，限制了其应用。
  2. 提出Text2MDT任务，通过自动化手段从医学文本中提取决策树，减少人工干预。
  3. 实验结果显示，基于LLM的端到端方法优于管道方法，且轻量级模型在复杂度上有显著优势。

📝 摘要（中文）

医学决策过程的知识可以通过医学决策树（MDTs）建模，这对构建临床决策支持系统至关重要。然而，现有的MDT构建方法依赖于耗时且繁琐的手动标注。本文提出了一项新任务Text2MDT，旨在从医学文本（如医学指南和教科书）中自动提取MDTs。我们规范化了MDT的形式，并在医学专家的参与下创建了中文标注的Text-to-MDT数据集。我们研究了两种不同的Text2MDT方法：一种是基于GPT风格的大型语言模型的端到端框架，另一种是将Text2MDT任务分解为三个子任务的管道框架。实验结果表明，基于LLM的端到端方法表现优异，超越了管道方法，且链式思维提示方法能进一步提升性能。

🔬 方法详解

问题定义：本文旨在解决医学决策树（MDT）构建中的手动标注效率低下的问题。现有方法依赖人工标注，导致构建过程耗时且不够灵活。

核心思路：提出Text2MDT任务，通过自动化提取医学文本中的决策树结构，利用大型语言模型（LLM）和管道框架来实现高效的MDT构建。

技术框架：整体架构分为两种方法：端到端框架和管道框架。端到端框架依赖于LLM进行指令调优，生成节点信息和树结构；管道框架将任务分解为三个子任务，逐步完成MDT的提取。

关键创新：最重要的创新在于提出了Text2MDT任务，并通过实验验证了基于LLM的端到端方法在性能上的优越性，尤其是在处理复杂医学文本时的有效性。

关键设计：在模型设计上，端到端方法使用7B参数或更大的LLM，采用链式思维提示（COT）方法来提升性能；而轻量级管道方法则基于编码器预训练模型，模型复杂度显著降低，仍能与LLM相媲美。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于LLM的端到端方法在Text2MDT任务上表现优异，成功超越了传统管道方法。此外，链式思维提示方法显著提升了模型性能，轻量级管道方法在复杂度上比LLM低两个数量级，但仍能达到相似的性能水平。

🎯 应用场景

该研究的潜在应用领域包括临床决策支持系统的开发、医学教育和医疗文本分析等。通过自动提取医学决策树，能够提高医疗决策的效率和准确性，减轻医生的负担，促进智能医疗的发展。未来，该方法有望在更广泛的医学领域中推广应用，推动医疗信息化进程。

📄 摘要（原文）

Knowledge of the medical decision process, which can be modeled as medical decision trees (MDTs), is critical to build clinical decision support systems. However, the current MDT construction methods rely heavily on time-consuming and laborious manual annotation. In this work, we propose a novel task, Text2MDT, to explore the automatic extraction of MDTs from medical texts such as medical guidelines and textbooks. We normalize the form of the MDT and create an annotated Text-to-MDT dataset in Chinese with the participation of medical experts. We investigate two different methods for the Text2MDT tasks: (a) an end-to-end framework which only relies on a GPT style large language models (LLM) instruction tuning to generate all the node information and tree structures. (b) The pipeline framework which decomposes the Text2MDT task to three subtasks. Experiments on our Text2MDT dataset demonstrate that: (a) the end-to-end method basd on LLMs (7B parameters or larger) show promising results, and successfully outperform the pipeline methods. (b) The chain-of-thought (COT) prompting method \cite{Wei2022ChainOT} can improve the performance of the fine-tuned LLMs on the Text2MDT test set. (c) the lightweight pipelined method based on encoder-based pretrained models can perform comparably with LLMs with model complexity two magnititudes smaller. Our Text2MDT dataset is open-sourced at \url{https://tianchi.aliyun.com/dataset/95414}, and the source codes are open-sourced at \url{https://github.com/michael-wzhu/text2dt}.