KorMedMCQA: Multi-Choice Question Answering Benchmark for Korean Healthcare Professional Licensing Examinations
作者: Sunjun Kweon, Byungjin Choi, Gyouk Chu, Junyeong Song, Daeun Hyeon, Sujin Gan, Jueon Kim, Minkyu Kim, Rae Woong Park, Edward Choi
分类: cs.CL
发布日期: 2024-03-03 (更新: 2024-12-09)
💡 一句话要点
提出KorMedMCQA以解决韩国医疗职业考试的多选题回答问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 医学问答 多选题 语言模型 思维链推理 区域特定基准 医疗AI 数据集构建
📋 核心要点
- 现有的医学问答基准多为美国背景，缺乏针对韩国医疗环境的专门数据集，导致模型评估的局限性。
- 论文提出KorMedMCQA数据集，专注于韩国医疗职业考试的多选题，利用思维链推理提升模型的回答准确性。
- 实验结果显示，59种语言模型在KorMedMCQA上的表现提升了4.5%，并且与MedQA的相关性分析揭示了区域性差异。
📝 摘要（中文）
我们提出了KorMedMCQA，这是第一个基于韩国医疗职业许可考试的多选题回答基准，涵盖2012至2024年间的医疗考试问题。该数据集包含7469个来自医生、护士、药剂师和牙医的考试问题，涉及广泛的医学学科。我们评估了59种大型语言模型的性能，结果表明，应用思维链（CoT）推理可以使模型性能提高最多4.5%。此外，我们还探讨了MedQA作为评估模型在韩国表现的可靠性，发现这两个基准之间的相关性不如来自完全不同领域的基准。这一发现强调了韩国和美国医学背景之间的显著语言和临床差异，进一步证明了区域特定医学问答基准的必要性。为了支持韩国医疗AI的持续研究，我们通过Huggingface公开发布了KorMedMCQA。
🔬 方法详解
问题定义：本研究旨在解决缺乏针对韩国医疗职业考试的多选题回答基准的问题。现有方法主要基于美国的医学考试，无法有效评估韩国特定背景下的模型性能。
核心思路：论文的核心思路是构建一个专门针对韩国医疗职业考试的多选题数据集KorMedMCQA，并通过引入思维链推理（CoT）来提升模型的回答能力。这样的设计旨在充分利用韩国特有的医疗知识和语言特征。
技术框架：整体架构包括数据集构建、模型选择与评估、以及性能分析三个主要模块。数据集包含7469个问题，模型评估涵盖59种不同的语言模型，最后进行性能对比与分析。
关键创新：最重要的技术创新点在于首次构建了针对韩国医疗领域的多选题问答基准，并通过思维链推理显著提升了模型的回答准确性。这与现有方法的本质区别在于区域特定性和推理能力的结合。
关键设计：在模型评估中，采用了多种语言模型，包括专门针对临床应用进行微调的模型。关键参数设置和损失函数的选择经过精心设计，以确保模型在特定任务上的最佳表现。实验中还进行了相关性分析，以验证不同基准之间的适用性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，应用思维链推理（CoT）后，模型性能提升了最多4.5%。此外，KorMedMCQA与MedQA之间的相关性分析表明，两者在评估模型性能时的适用性存在显著差异，强调了区域特定基准的重要性。
🎯 应用场景
该研究的潜在应用领域包括医疗教育、智能问答系统以及临床决策支持。KorMedMCQA的发布将为韩国医疗AI的发展提供重要的数据支持，促进相关技术的研究与应用，提升医疗服务的智能化水平。
📄 摘要（原文）
We present KorMedMCQA, the first Korean Medical Multiple-Choice Question Answering benchmark, derived from professional healthcare licensing examinations conducted in Korea between 2012 and 2024. The dataset contains 7,469 questions from examinations for doctor, nurse, pharmacist, and dentist, covering a wide range of medical disciplines. We evaluate the performance of 59 large language models, spanning proprietary and open-source models, multilingual and Korean-specialized models, and those fine-tuned for clinical applications. Our results show that applying Chain of Thought (CoT) reasoning can enhance the model performance by up to 4.5% compared to direct answering approaches. We also investigate whether MedQA, one of the most widely used medical benchmarks derived from the U.S. Medical Licensing Examination, can serve as a reliable proxy for evaluating model performance in other regions-in this case, Korea. Our correlation analysis between model scores on KorMedMCQA and MedQA reveals that these two benchmarks align no better than benchmarks from entirely different domains (e.g., MedQA and MMLU-Pro). This finding underscores the substantial linguistic and clinical differences between Korean and U.S. medical contexts, reinforcing the need for region-specific medical QA benchmarks. To support ongoing research in Korean healthcare AI, we publicly release the KorMedMCQA via Huggingface.