Performance of a domain-specific large language model in answering patient questions in psychiatry

📄 arXiv: 2608.22797v1 📥 PDF

作者: Alexander J. Hish, Arjun Nagendran, Scott N. Compton

分类: cs.AI

发布日期: 2026-08-24

💡 一句话要点

提出MIND模型以提升精神科患者教育问答质量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 精神科 患者教育 药物信息 模型评估 临床应用 自然语言处理

📋 核心要点

  1. 现有的通用大型语言模型在精神科患者教育中存在准确性和完整性不足的问题。
  2. 本研究提出了一种专门针对精神科领域的LLM MIND，旨在提高回答精神药物问题的质量。
  3. 实验结果显示，MIND在多个评估维度上表现优于对比模型，但医生对其回答的偏好仍倾向于ChatGPT。

📝 摘要（中文）

本研究旨在评估一种专门针对精神科患者教育资源训练的大型语言模型（LLM）MIND在回答精神药物相关问题时的表现。通过与ChatGPT和OpenEvidence的比较，MIND在准确性、完整性和安全性等多个维度上表现优异。尽管MIND提供了更完整的回答，精神科医生仍偏好ChatGPT的回答。MIND的开发为构建安全的LLM系统以增强精神科患者教育迈出了重要一步。

🔬 方法详解

问题定义：本研究解决的是现有大型语言模型在精神科患者教育中回答药物相关问题时的准确性和完整性不足的问题。现有方法如ChatGPT在专业领域的应用效果有限，无法满足患者对信息的需求。

核心思路：论文提出的核心思路是开发一个专门针对精神科领域的LLM MIND，利用权威医疗组织的患者教育资源进行训练，以提高模型在临床环境中的回答质量。

技术框架：MIND模型的整体架构包括数据收集、模型训练和评估三个主要阶段。数据收集阶段从权威医疗资源中提取信息，训练阶段采用细化技术以增强模型的临床准确性，评估阶段则通过计算机分析和精神科医生的评分进行性能评估。

关键创新：MIND的关键创新在于其专门的训练数据集和针对精神科领域的细化训练过程，使其在回答精神药物相关问题时能够提供更高的准确性和完整性。这与通用模型的训练方式形成了鲜明对比。

关键设计：在模型设计中，MIND采用了特定的损失函数以优化回答的准确性和完整性，同时在网络结构上进行了调整，以适应精神科领域的专业知识需求。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，MIND在所有评估维度上均获得最高评分（p<0.001）。尽管在准确性上ChatGPT略胜一筹（p=0.021, r=0.073），MIND在完整性方面表现更佳（p<0.001, r=0.160），且安全性评分相同（p=0.955, r=0.002）。

🎯 应用场景

该研究的潜在应用领域包括精神科患者教育、医疗咨询和健康信息传播等。MIND模型的开发可以为患者提供更准确和全面的药物信息，帮助他们更好地理解治疗方案，从而提高患者的治疗依从性和满意度。未来，类似的专门化LLM系统可能会在其他医学领域得到推广。

📄 摘要（原文）

Background This study was designed to evaluate whether a domain-specific large language model (LLM) trained exclusively on patient education resources can answer questions about psychiatric medications, in a manner superior to LLM chatbots. We developed an LLM ("MIND") fine-tuned for clinical fidelity, trained on patient education resources from authoritative medical organizations. Methods We compared the responses of MIND, ChatGPT, and OpenEvidence to patient questions about escitalopram, using two methods: (1) computer analysis according to a rubric measuring accuracy, clarity, completeness, nuance, safety, and referral appropriateness; (2) ratings from N=10 board-licensed psychiatrists on similar metrics. Results When rated by rubric, MIND was rated highest in all domains (p<0.001). When rated by psychiatrists, ChatGPT was rated accurate more often than MIND with a negligible effect size (p=0.021, r=0.073); MIND was rated complete more often than ChatGPT with a small effect size (p<0.001, r=0.160); and MIND and ChatGPT were rated safe with the same frequency (p=0.955, r=0.002). The majority of psychiatrists preferred the responses generated by ChatGPT (57.6%) compared to MIND (42.4%, p=0.003). Conclusions MIND was able to answer many questions about escitalopram in a manner deemed accurate, complete, and safe by psychiatrists the majority of the time. However, despite MIND's ability to provide more complete responses, psychiatrists preferred ChatGPT's responses. MIND represents a step towards building safe LLM systems to enhance patient education in psychiatry.