Towards Training A Chinese Large Language Model for Anesthesiology

📄 arXiv: 2403.02742v1 📥 PDF

作者: Zhonghai Wang, Jie Jiang, Yibing Zhan, Bohao Zhou, Yanhong Li, Chong Zhang, Liang Ding, Hua Jin, Jun Peng, Xu Lin, Weifeng Liu

分类: cs.CL

发布日期: 2024-03-05

💡 一句话要点

提出Hypnos以解决中国麻醉学领域大语言模型不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学大语言模型 麻醉学 数据质量提升 交叉过滤 模型微调 评估基准 自我指导

📋 核心要点

  1. 现有医学大语言模型主要集中于普通医学，缺乏针对麻醉学的专门研究，导致该领域的模型性能不足。
  2. 本文提出了Hypnos，通过交叉过滤策略提升数据质量，并采用从一般医学到麻醉学的逐步微调训练策略。
  3. Hypnos在麻醉学领域的评估基准上表现优于其他医学大语言模型，显示出显著的性能提升。

📝 摘要（中文）

医学大语言模型（LLMs）近年来因其显著的实用性而受到关注。然而，现有研究多集中于普通医学领域，缺乏对麻醉学等特定领域的深入研究。为填补这一空白，本文介绍了Hypnos，一个基于现有LLMs（如Llama）的中文麻醉模型。Hypnos的贡献主要体现在三个方面：首先，通过交叉过滤策略提高数据质量；其次，采用从一般到特定的训练策略，先用普通医学数据进行微调，再用麻醉学数据进一步提升；最后，建立了一个标准化的麻醉学医学LLM评估基准。Hypnos在基准数据集上超越了其他医学LLMs的表现。

🔬 方法详解

问题定义：本文旨在解决现有医学大语言模型在麻醉学领域应用不足的问题，现有模型多集中于普通医学，导致麻醉学相关数据和知识的缺乏。

核心思路：Hypnos通过交叉过滤策略提升数据质量，并采用从一般医学到麻醉学的逐步微调训练策略，确保模型能够更好地生成与麻醉学相关的内容。

技术框架：Hypnos的整体架构包括数据收集、交叉过滤、模型微调和评估四个主要模块。首先收集普通医学和麻醉学数据，然后通过交叉过滤提升数据质量，接着进行模型微调，最后在标准化基准上进行评估。

关键创新：最重要的技术创新在于交叉过滤策略，通过一个LLM评估另一个LLM生成的数据质量，从而提高数据的准确性和可靠性。这一方法与传统的单一数据源训练方法有本质区别。

关键设计：在模型微调过程中，采用了自我指导（Self-Instruct）技术，并结合了普通医学数据和麻醉学数据的混合训练，确保模型在生成内容时具备更全面的医学知识。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在评估基准上，Hypnos在多个指标上超越了其他医学大语言模型，包括GPT-4和人类评估，显示出显著的性能提升，具体提升幅度未知。

🎯 应用场景

Hypnos模型的潜在应用场景包括麻醉学领域的临床决策支持、教育培训和患者咨询等。通过提供准确的麻醉学信息，Hypnos能够帮助医生提高诊疗效率，提升患者安全性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Medical large language models (LLMs) have gained popularity recently due to their significant practical utility. However, most existing research focuses on general medicine, and there is a need for in-depth study of LLMs in specific fields like anesthesiology. To fill the gap, we introduce Hypnos, a Chinese Anesthesia model built upon existing LLMs, e.g., Llama. Hypnos' contributions have three aspects: 1) The data, such as utilizing Self-Instruct, acquired from current LLMs likely includes inaccuracies. Hypnos implements a cross-filtering strategy to improve the data quality. This strategy involves using one LLM to assess the quality of the generated data from another LLM and filtering out the data with low quality. 2) Hypnos employs a general-to-specific training strategy that starts by fine-tuning LLMs using the general medicine data and subsequently improving the fine-tuned LLMs using data specifically from Anesthesiology. The general medical data supplement the medical expertise in Anesthesiology and enhance the effectiveness of Hypnos' generation. 3) We introduce a standardized benchmark for evaluating medical LLM in Anesthesiology. Our benchmark includes both publicly available instances from the Internet and privately obtained cases from the Hospital. Hypnos outperforms other medical LLMs in anesthesiology in metrics, GPT-4, and human evaluation on the benchmark dataset.