The Sound of Healthcare: Improving Medical Transcription ASR Accuracy with Large Language Models

📄 arXiv: 2402.07658v1 📥 PDF

作者: Ayo Adedeji, Sarita Joshi, Brendan Doohan

分类: cs.CL, cs.SD, eess.AS

发布日期: 2024-02-12

备注: 31 pages, 17 figures

💡 一句话要点

利用大型语言模型提升医疗转录ASR准确性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医疗转录 自动语音识别 大型语言模型 链式思维 语义一致性 说话人分离 医疗数据管理

📋 核心要点

  1. 现有的医疗转录ASR系统在准确性和医疗术语捕捉方面存在不足，导致患者记录的可靠性下降。
  2. 本研究提出利用大型语言模型（LLMs）对ASR生成的转录文本进行优化，特别关注医疗概念的准确性和说话人分离的提升。
  3. 实验结果显示，采用链式思维（CoT）提示的LLMs显著提高了ASR系统的分离准确性和医疗概念的捕捉能力，达到了最先进的性能水平。

📝 摘要（中文）

在快速发展的医疗文档环境中，准确转录临床对话变得愈发重要。本研究探讨了大型语言模型（LLMs）在提升医疗转录自动语音识别（ASR）系统准确性方面的潜力。我们利用PriMock57数据集，应用先进的LLMs来优化ASR生成的转录文本。研究重点包括一般词错误率（WER）、医疗概念词错误率（MC-WER）以及说话人分离准确性。此外，我们评估了LLM后处理在改善语义文本相似性方面的作用，从而保持临床对话的上下文完整性。实验结果表明，特别是通过链式思维（CoT）提示，LLMs不仅提升了现有ASR系统的分离准确性，还在该领域实现了最先进的性能。这些发现展示了LLMs在增强ASR输出和独立完成转录任务中的双重作用，为医疗ASR系统的转型和更准确、可靠的患者记录提供了重要前景。

🔬 方法详解

问题定义：本论文旨在解决医疗转录中自动语音识别（ASR）系统的准确性问题，尤其是在医疗术语和说话人分离方面的不足。现有方法在处理复杂的临床对话时，常常无法准确捕捉关键信息，导致记录不完整或错误。

核心思路：论文提出利用大型语言模型（LLMs）对ASR生成的转录文本进行后处理，特别是通过链式思维（CoT）提示来提升准确性。这一设计旨在利用LLMs强大的语言理解能力，改善医疗对话的语义一致性和上下文完整性。

技术框架：研究采用PriMock57数据集，首先使用ASR系统生成初步转录，然后应用LLMs进行后处理，重点关注词错误率（WER）、医疗概念词错误率（MC-WER）和说话人分离准确性。整个流程包括数据预处理、ASR生成、LLM后处理和结果评估四个主要模块。

关键创新：本研究的最大创新在于将LLMs与ASR系统结合，通过链式思维提示显著提升了医疗转录的准确性。这与传统方法的直接转录方式有本质区别，后者往往忽视了上下文和语义的深度理解。

关键设计：在实验中，采用了不同的提示策略（如零-shot和CoT），并对LLMs的参数进行了细致调整，以优化其在医疗术语识别和说话人分离中的表现。损失函数和网络结构的选择也经过精心设计，以确保模型在特定任务上的最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，采用链式思维（CoT）提示的LLMs在医疗转录任务中显著提升了说话人分离准确性和医疗概念捕捉能力，达到最先进的性能水平。具体而言，整体词错误率（WER）和医疗概念词错误率（MC-WER）均有显著降低，表明LLMs在优化ASR输出方面的有效性。

🎯 应用场景

该研究的成果在医疗领域具有广泛的应用潜力，尤其是在临床记录、患者沟通和医疗数据管理等方面。通过提升ASR系统的准确性，能够有效减少医疗记录中的错误，提高患者安全性和医疗服务质量。此外，未来可能推动医疗信息化的发展，使得医疗记录更加智能化和自动化。

📄 摘要（原文）

In the rapidly evolving landscape of medical documentation, transcribing clinical dialogues accurately is increasingly paramount. This study explores the potential of Large Language Models (LLMs) to enhance the accuracy of Automatic Speech Recognition (ASR) systems in medical transcription. Utilizing the PriMock57 dataset, which encompasses a diverse range of primary care consultations, we apply advanced LLMs to refine ASR-generated transcripts. Our research is multifaceted, focusing on improvements in general Word Error Rate (WER), Medical Concept WER (MC-WER) for the accurate transcription of essential medical terms, and speaker diarization accuracy. Additionally, we assess the role of LLM post-processing in improving semantic textual similarity, thereby preserving the contextual integrity of clinical dialogues. Through a series of experiments, we compare the efficacy of zero-shot and Chain-of-Thought (CoT) prompting techniques in enhancing diarization and correction accuracy. Our findings demonstrate that LLMs, particularly through CoT prompting, not only improve the diarization accuracy of existing ASR systems but also achieve state-of-the-art performance in this domain. This improvement extends to more accurately capturing medical concepts and enhancing the overall semantic coherence of the transcribed dialogues. These findings illustrate the dual role of LLMs in augmenting ASR outputs and independently excelling in transcription tasks, holding significant promise for transforming medical ASR systems and leading to more accurate and reliable patient records in healthcare settings.