Qibo: A Large Language Model for Traditional Chinese Medicine

📄 arXiv: 2403.16056v3 📥 PDF

作者: Heyi Zhang, Xin Wang, Zhaopeng Meng, Zhe Chen, Pengwei Zhuang, Yongzhe Jia, Dawei Xu, Wenbin Guo

分类: cs.CL, cs.AI

发布日期: 2024-03-24 (更新: 2024-06-22)

💡 一句话要点

提出Qibo以解决传统中医学领域的语言模型挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 传统中医学 预训练 监督微调 自然语言处理 模型评估 Qibo-Benchmark

📋 核心要点

  1. 传统中医学领域面临理论与现代医学差异、缺乏专业语料等挑战，现有方法难以有效解决。
  2. 论文提出结合连续预训练与监督微调的两阶段训练方法，以提升模型在TCM领域的表现。
  3. 实验结果显示，Qibo模型在主观胜率、客观准确率和NLP任务Rouge-L分数上均有显著提升。

📝 摘要（中文）

大型语言模型（LLMs）在医学、法律和金融等多个专业领域取得了显著进展。然而，在传统中医学（TCM）中，存在理论与现代医学之间的本质差异、缺乏专业语料资源以及仅依赖监督微调可能导致过度自信预测等挑战。为了解决这些问题，我们提出了一种结合连续预训练和监督微调的两阶段训练方法。我们的研究贡献在于处理了一个专门针对TCM的2GB语料库，分别构建了TCM的预训练和指令微调数据集。此外，我们开发了Qibo-Benchmark工具，评估LLM在TCM领域的多维度表现。经过我们的训练流程，命名为Qibo的医学LLM展现出显著的性能提升。与基线相比，平均主观胜率为63%，平均客观准确率提高了23%至58%，三项TCM NLP任务的Rouge-L分数分别为0.72、0.61和0.55。最后，我们提出了一种将Qibo应用于TCM咨询的流程，并通过案例研究展示了模型性能。

🔬 方法详解

问题定义：论文要解决的具体问题是如何在传统中医学领域有效训练大型语言模型。现有方法面临的痛点包括理论与现代医学的差异、缺乏专业语料库以及过度自信的预测问题。

核心思路：论文的核心解决思路是采用两阶段训练方法，首先进行连续预训练，然后进行监督微调，以提高模型的泛化能力和准确性。这样的设计旨在充分利用大规模语料库的潜力，同时避免过度依赖标注数据。

技术框架：整体架构包括两个主要阶段：第一阶段为连续预训练，使用专门的TCM语料库进行训练；第二阶段为监督微调，利用构建的指令微调数据集进行优化。整个流程确保模型在TCM领域的适应性和准确性。

关键创新：最重要的技术创新点在于构建了专门针对TCM的2GB语料库，并设计了Qibo-Benchmark工具用于多维度评估模型性能。这与现有方法的本质区别在于针对性和评估的全面性。

关键设计：在训练过程中，采用了特定的损失函数和参数设置，以确保模型在TCM任务上的表现。网络结构方面，结合了Transformer架构的优势，优化了模型的训练效率和效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Qibo模型在主观评估中获得63%的胜率，客观准确率提升23%至58%。在三项TCM NLP任务中，Rouge-L分数分别达到0.72、0.61和0.55，展现出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括传统中医学的咨询服务、医学教育以及中医药相关的研究与开发。Qibo模型的成功应用能够提升中医领域的智能化水平，促进中医知识的传播与应用，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large Language Models (LLMs) has made significant progress in a number of professional fields, including medicine, law, and finance. However, in traditional Chinese medicine (TCM), there are challenges such as the essential differences between theory and modern medicine, the lack of specialized corpus resources, and the fact that relying only on supervised fine-tuning may lead to overconfident predictions. To address these challenges, we propose a two-stage training approach that combines continuous pre-training and supervised fine-tuning. A notable contribution of our study is the processing of a 2GB corpus dedicated to TCM, constructing pre-training and instruction fine-tuning datasets for TCM, respectively. In addition, we have developed Qibo-Benchmark, a tool that evaluates the performance of LLM in the TCM on multiple dimensions, including subjective, objective, and three TCM NLP tasks. The medical LLM trained with our pipeline, named $\textbf{Qibo}$, exhibits significant performance boosts. Compared to the baselines, the average subjective win rate is 63%, the average objective accuracy improved by 23% to 58%, and the Rouge-L scores for the three TCM NLP tasks are 0.72, 0.61, and 0.55. Finally, we propose a pipline to apply Qibo to TCM consultation and demonstrate the model performance through the case study.