PVminerLLM: Structured Extraction of Patient Voice from Patient-Generated Text using Large Language Models
作者: Samah Fodeh, Linhai Ma, Ganesh Puthiaraju, Srivani Talakokkul, Afshan Khan, Ashley Hagaman, Sarah Lowe, Aimee Roundtree
分类: cs.CL, cs.AI
发布日期: 2026-03-06
💡 一句话要点
PVminerLLM:利用大语言模型结构化提取患者自述文本中的患者声音
🎯 匹配领域: 支柱九:具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 监督微调 医疗标注 患者自述文本 临床自然语言处理 结构化提取 患者声音 健康公平
📋 核心要点
- 患者自述文本包含重要的患者生活经历和社会环境信息,但这些信息通常缺乏结构化形式,限制了其在患者中心结果研究中的应用。
- PVminerLLM通过监督微调大型语言模型,专门针对患者声音的结构化提取任务,旨在解决患者自述文本信息结构化不足的问题。
- 实验结果表明,PVminerLLM在代码预测、子代码预测和证据跨度提取方面均显著优于基线方法,即使使用较小模型也能获得良好性能。
📝 摘要(中文)
本文提出了PVminer,一个用于结构化提取患者声音的基准,并提出了PVminerLLM,一个针对此任务进行监督微调的大型语言模型。在多个数据集和模型规模上,PVminerLLM显著优于基于提示的基线方法,在代码预测方面达到了高达83.82%的F1值,在子代码预测方面达到了80.74%的F1值,在证据跨度提取方面达到了87.03%的F1值。值得注意的是,即使使用较小的模型也能获得良好的性能,这表明可靠的患者声音提取在不需要极端模型规模的情况下也是可行的。这些结果使得对嵌入在患者自述文本中的社会和经验信号进行可扩展的分析成为可能。
🔬 方法详解
问题定义:论文旨在解决从患者自述文本中结构化提取患者声音信息的问题。现有方法难以有效提取和组织这些非结构化数据,阻碍了对影响患者依从性、护理协调和健康公平等因素的深入分析。
核心思路:论文的核心思路是利用大型语言模型(LLM)的强大文本理解和生成能力,通过监督微调的方式,使模型能够准确地从患者自述文本中提取出预定义的结构化信息,例如代码、子代码和证据跨度。
技术框架:PVminerLLM的技术框架主要包括以下几个阶段:1) 构建PVminer基准数据集,用于训练和评估模型;2) 选择预训练的大型语言模型作为基础模型;3) 使用PVminer数据集对基础模型进行监督微调,使其适应患者声音提取任务;4) 评估微调后的模型在不同数据集上的性能。
关键创新:论文的关键创新在于针对患者声音提取任务,提出了一个专门的监督微调框架PVminerLLM。该框架能够有效地利用LLM的强大能力,实现对患者自述文本的结构化信息提取,并且即使使用较小的模型也能获得良好的性能。
关键设计:论文的关键设计包括:1) 精心设计的PVminer基准数据集,包含多种类型的患者自述文本和详细的标注信息;2) 针对特定任务的微调策略,例如使用特定的损失函数和优化器;3) 对不同模型规模的PVminerLLM进行实验,以评估模型性能和计算成本之间的权衡。
📊 实验亮点
PVminerLLM在多个数据集上取得了显著的性能提升。在代码预测方面,PVminerLLM达到了高达83.82%的F1值;在子代码预测方面,达到了80.74%的F1值;在证据跨度提取方面,达到了87.03%的F1值。这些结果表明,PVminerLLM能够有效地从患者自述文本中提取结构化信息,并且即使使用较小的模型也能获得良好的性能。
🎯 应用场景
该研究成果可应用于患者中心的结果研究、临床质量改进、健康公平性分析等领域。通过自动提取患者自述文本中的关键信息,可以更全面地了解患者的需求和体验,从而为制定更有效的医疗干预措施和改善医疗服务提供依据。未来,该技术还可用于构建智能化的患者支持系统,例如自动识别患者的潜在风险因素并提供个性化的建议。
📄 摘要(原文)
Motivation: Patient-generated text contains critical information about patients' lived experiences, social circumstances, and engagement in care, including factors that strongly influence adherence, care coordination, and health equity. However, these patient voice signals are rarely available in structured form, limiting their use in patient-centered outcomes research and clinical quality improvement. Reliable extraction of such information is therefore essential for understanding and addressing non-clinical drivers of health outcomes at scale. Results: We introduce PVminer, a benchmark for structured extraction of patient voice, and propose PVminerLLM, a supervised fine-tuned large language model tailored to this task. Across multiple datasets and model sizes, PVminerLLM substantially outperforms prompt-based baselines, achieving up to 83.82% F1 for Code prediction, 80.74% F1 for Sub-code prediction, and 87.03% F1 for evidence Span extraction. Notably, strong performance is achieved even with smaller models, demonstrating that reliable patient voice extraction is feasible without extreme model scale. These results enable scalable analysis of social and experiential signals embedded in patient-generated text. Availability and Implementation: Code, evaluation scripts, and trained LLMs will be released publicly. Annotated datasets will be made available upon request for research use. Keywords: Large Language Models, Supervised Fine-Tuning, Medical Annotation, Patient-Generated Text, Clinical NLP