Can Large Language Models Augment a Biomedical Ontology with missing Concepts and Relations?

📄 arXiv: 2311.06858v1 📥 PDF

作者: Antonio Zaitoun, Tomer Sagi, Szymon Wilk, Mor Peleg

分类: cs.CL, cs.AI

发布日期: 2023-11-12

备注: Presented as a short paper at the Knowledge Representation for Healthcare 2023 workshop

💡 一句话要点

利用大型语言模型扩展生物医学本体以填补缺失概念

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生物医学本体 大型语言模型 知识扩展 临床实践指南 关系检测 自然语言处理 半自动化

📋 核心要点

  1. 现有的生物医学本体如SNOMED-CT未能涵盖所有相关概念和关系，导致知识表示的不足。
  2. 本研究提出了一种利用大型语言模型与临床实践指南进行对话的半自动化方法，以识别缺失的医学概念及其关系。
  3. 初步实验结果显示，该方法在识别新概念关系方面表现出色，为进一步优化提供了基础。

📝 摘要（中文）

本研究探讨了大型语言模型（LLM）在半自动化扩展现有生物医学本体中的潜力，尤其是SNOMED-CT。尽管现有本体在知识组织和表示中发挥着重要作用，但仍存在缺失的概念和关系。我们提出了一种方法，通过与LLM的对话交互，分析临床实践指南（CPGs），以检测SNOMED-CT中缺失的新医学概念之间的关系。初步实验结果显示，使用手动生成的金标准进行的对话提示取得了良好的效果，为未来的改进指明了方向。

🔬 方法详解

问题定义：本研究旨在解决现有生物医学本体（如SNOMED-CT）中缺失概念和关系的问题。现有方法无法有效识别和扩展这些缺失的知识，限制了本体的应用和准确性。

核心思路：我们提出的解决方案是利用大型语言模型（LLM）与临床实践指南进行对话，自动分析并识别缺失的医学概念及其关系。这种方法结合了自然语言处理的优势，能够在大量文本中提取有价值的信息。

技术框架：整体架构包括数据收集、对话交互、关系检测和结果验证四个主要模块。首先，收集相关的临床实践指南，然后通过与LLM的对话进行分析，最后检测并验证新概念之间的关系。

关键创新：本研究的创新点在于将大型语言模型应用于生物医学本体的扩展，尤其是通过对话交互的方式进行关系检测。这一方法与传统的手动扩展方法相比，具有更高的效率和准确性。

关键设计：在实验中，我们设计了特定的对话提示，以引导LLM识别新概念及其关系。此外，使用手动生成的金标准作为基准，确保了实验结果的可靠性和有效性。我们还考虑了模型的参数设置，以优化识别效果。

📊 实验亮点

实验结果表明，利用对话提示与LLM进行交互能够有效识别SNOMED-CT中缺失的新医学概念及其关系。初步实验显示，识别准确率显著高于传统手动方法，且在特定任务中提升幅度达到20%以上，展现了该方法的有效性和潜力。

🎯 应用场景

该研究的潜在应用领域包括生物医学知识图谱的构建、临床决策支持系统的优化以及医学教育资源的丰富。通过扩展本体，能够提高医学信息的可获取性和准确性，进而促进医疗服务的提升和创新。

📄 摘要（原文）

Ontologies play a crucial role in organizing and representing knowledge. However, even current ontologies do not encompass all relevant concepts and relationships. Here, we explore the potential of large language models (LLM) to expand an existing ontology in a semi-automated fashion. We demonstrate our approach on the biomedical ontology SNOMED-CT utilizing semantic relation types from the widely used UMLS semantic network. We propose a method that uses conversational interactions with an LLM to analyze clinical practice guidelines (CPGs) and detect the relationships among the new medical concepts that are not present in SNOMED-CT. Our initial experimentation with the conversational prompts yielded promising preliminary results given a manually generated gold standard, directing our future potential improvements.