Iterative Prompt Refinement for Radiation Oncology Symptom Extraction Using Teacher-Student Large Language Models

📄 arXiv: 2402.04075v1 📥 PDF

作者: Reza Khanmohammadi, Ahmed I Ghanem, Kyle Verdecchia, Ryan Hall, Mohamed Elshaikh, Benjamin Movsas, Hassan Bagher-Ebadian, Indrin Chetty, Mohammad M. Ghassemi, Kundan Thind

分类: cs.CL

发布日期: 2024-02-06

💡 一句话要点

提出教师-学生架构以改善放射肿瘤学症状提取

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 放射肿瘤学 症状提取 大型语言模型 教师-学生模型 迭代优化 临床笔记分析 自然语言处理

📋 核心要点

  1. 现有方法在从临床笔记中提取放射治疗症状时准确性不足，尤其是在多症状情况下表现较差。
  2. 论文提出了一种教师-学生模型架构，利用GPT-4对学生模型Mixtral的输出进行迭代优化，从而提升症状提取的准确性。
  3. 实验结果显示，单症状和多症状笔记的提取性能显著提升，准确率、精确率、召回率和F1分数均有明显改善。

📝 摘要（中文）

本研究介绍了一种新颖的教师-学生架构，利用大型语言模型（LLMs）来改善前列腺癌放射治疗中临床笔记的症状提取。学生模型Mixtral最初提取症状，随后由教师模型GPT-4根据Mixtral的表现进行提示优化。该迭代过程涉及294个单症状临床笔记，涵盖12种症状，每个周期最多进行16轮优化。结果显示，在单症状和多症状笔记中提取症状的准确性显著提高。59个单症状笔记的准确率从0.51提升至0.71，精确率从0.52提升至0.82，召回率从0.52提升至0.72，F1分数从0.49提升至0.73。在375个多症状笔记中，准确率从0.24提升至0.43，精确率从0.6提升至0.76，召回率从0.24提升至0.43，F1分数从0.20提升至0.44。这些结果证明了先进提示工程在放射肿瘤学中的有效性。

🔬 方法详解

问题定义：本研究旨在解决从临床笔记中提取放射肿瘤学症状的准确性不足问题。现有方法在处理多症状笔记时表现不佳，导致提取效果不理想。

核心思路：论文提出的核心思路是通过教师-学生模型架构，利用GPT-4对学生模型Mixtral的输出进行迭代优化，从而提升症状提取的准确性和全面性。

技术框架：整体架构包括两个主要模块：学生模型Mixtral负责初步提取症状，教师模型GPT-4则根据Mixtral的表现进行提示优化。该过程通过多轮迭代实现，最多可进行16轮优化。

关键创新：最重要的技术创新点在于将教师-学生模型架构应用于症状提取任务，通过迭代优化提升了模型的性能，这与传统的单一模型方法有本质区别。

关键设计：在模型设计中，采用了特定的损失函数来评估提取效果，并通过精细的参数设置来优化模型性能，确保在多轮迭代中逐步提升提取准确性。具体的网络结构和参数设置在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，在59个单症状笔记中，准确率从0.51提升至0.71，精确率从0.52提升至0.82，召回率从0.52提升至0.72，F1分数从0.49提升至0.73。在375个多症状笔记中，准确率从0.24提升至0.43，精确率从0.6提升至0.76，召回率从0.24提升至0.43，F1分数从0.20提升至0.44，表明该方法在症状提取方面具有显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括放射肿瘤学的临床实践，尤其是在症状监测和管理方面。通过提高症状提取的准确性，能够帮助医生更好地了解患者的病情，制定个性化的治疗方案，从而提升患者的生活质量。未来，该方法也可能扩展到其他医疗领域的文本数据分析中。

📄 摘要（原文）

This study introduces a novel teacher-student architecture utilizing Large Language Models (LLMs) to improve prostate cancer radiotherapy symptom extraction from clinical notes. Mixtral, the student model, initially extracts symptoms, followed by GPT-4, the teacher model, which refines prompts based on Mixtral's performance. This iterative process involved 294 single symptom clinical notes across 12 symptoms, with up to 16 rounds of refinement per epoch. Results showed significant improvements in extracting symptoms from both single and multi-symptom notes. For 59 single symptom notes, accuracy increased from 0.51 to 0.71, precision from 0.52 to 0.82, recall from 0.52 to 0.72, and F1 score from 0.49 to 0.73. In 375 multi-symptom notes, accuracy rose from 0.24 to 0.43, precision from 0.6 to 0.76, recall from 0.24 to 0.43, and F1 score from 0.20 to 0.44. These results demonstrate the effectiveness of advanced prompt engineering in LLMs for radiation oncology use.