Position: Thematic Analysis of Unstructured Clinical Transcripts with Large Language Models

📄 arXiv: 2509.14597v2 📥 PDF

作者: Seungjun Yi, Joakim Nguyen, Terence Lim, Andrew Well, Joseph Skrovan, Mehak Beri, YongGeon Lee, Kavita Radhakrishnan, Liu Leqi, Mia Markey, Ying Ding

分类: cs.CL

发布日期: 2025-09-18 (更新: 2025-09-28)

备注: Presented at GenAI4Health @ NeurIPS 2025

💡 一句话要点

利用大型语言模型进行非结构化临床记录的主题分析，并提出标准化评估框架。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 主题分析 临床记录 自然语言处理 评估框架

📋 核心要点

  1. 现有主题分析方法在临床记录处理中面临资源密集和评估标准不统一的挑战。
  2. 论文提出利用大型语言模型辅助主题分析，并构建包含有效性、可靠性和可解释性的评估框架。
  3. 通过系统回顾和临床医生访谈，揭示了现有方法的分散性，强调了标准化评估的重要性。

📝 摘要（中文）

本文探讨了大型语言模型（LLMs）如何支持非结构化临床记录的主题分析。主题分析是一种广泛使用但资源密集型的方法，用于揭示患者和提供者的叙述中的模式。我们对近期将LLMs应用于主题分析的研究进行了系统回顾，并采访了一位执业临床医生。我们的研究结果表明，当前的方法在多个维度上仍然是分散的，包括主题分析的类型、数据集、提示策略和使用的模型，尤其是在评估方面。现有的评估方法差异很大（从定性专家评审到自动相似性指标），阻碍了进展，并阻止了跨研究的有意义的基准测试。我们认为，建立标准化的评估实践对于推进该领域至关重要。为此，我们提出了一个以三个维度为中心的评估框架：有效性、可靠性和可解释性。

🔬 方法详解

问题定义：论文旨在解决非结构化临床记录主题分析中人工成本高昂、评估标准不统一的问题。现有方法依赖人工阅读和标注，耗时耗力，且不同研究采用的评估指标各异，难以进行有效比较和基准测试。

核心思路：论文的核心思路是利用大型语言模型（LLMs）的自然语言处理能力，自动化或半自动化地进行主题分析，并提出一个标准化的评估框架，以提高研究的可比性和可重复性。

技术框架：论文主要通过系统性文献综述和临床医生访谈来构建其论点。首先，回顾了现有利用LLMs进行主题分析的研究，分析了它们在主题分析类型、数据集、提示策略和模型选择上的差异。然后，通过与临床医生的访谈，了解了实际应用中的需求和挑战。最后，基于这些分析，提出了一个包含有效性、可靠性和可解释性的评估框架。

关键创新：论文的关键创新在于提出了一个针对LLMs辅助主题分析的标准化评估框架。该框架强调了有效性（分析结果是否准确反映了临床记录的内容）、可靠性（分析结果是否稳定，不受不同LLM或提示的影响）和可解释性（分析结果是否易于理解和解释）。

关键设计：论文并没有提出具体的模型或算法，而是侧重于评估框架的设计。评估框架的具体实施需要根据具体的应用场景和数据集进行调整。例如，有效性可以通过专家评审或与已有的标注数据进行比较来评估；可靠性可以通过多次运行LLM并比较结果的一致性来评估；可解释性可以通过分析LLM的注意力权重或生成解释性报告来评估。

📊 实验亮点

论文通过系统性回顾揭示了现有LLMs在主题分析应用中的分散性，并强调了标准化评估的重要性。提出的包含有效性、可靠性和可解释性的评估框架，为未来研究提供了一个清晰的评估标准，有助于推动该领域的发展。虽然没有提供具体的性能数据，但其贡献在于为该领域的研究方向提供了指导。

🎯 应用场景

该研究成果可应用于医疗健康领域，辅助临床医生和研究人员快速有效地分析大量的临床记录，发现潜在的疾病模式、患者需求和治疗效果。标准化的评估框架有助于提高LLMs在临床应用中的可靠性和可信度，促进相关技术的推广和应用。未来，该框架可以扩展到其他类型的非结构化文本数据分析。

📄 摘要（原文）

This position paper examines how large language models (LLMs) can support thematic analysis of unstructured clinical transcripts, a widely used but resource-intensive method for uncovering patterns in patient and provider narratives. We conducted a systematic review of recent studies applying LLMs to thematic analysis, complemented by an interview with a practicing clinician. Our findings reveal that current approaches remain fragmented across multiple dimensions including types of thematic analysis, datasets, prompting strategies and models used, most notably in evaluation. Existing evaluation methods vary widely (from qualitative expert review to automatic similarity metrics), hindering progress and preventing meaningful benchmarking across studies. We argue that establishing standardized evaluation practices is critical for advancing the field. To this end, we propose an evaluation framework centered on three dimensions: validity, reliability, and interpretability.