Pragmatic Competence Evaluation of Large Language Models for the Korean Language

📄 arXiv: 2403.12675v2 📥 PDF

作者: Dojun Park, Jiwoo Lee, Hyeyun Jeong, Seohyun Park, Sungeun Lee

分类: cs.CL

发布日期: 2024-03-19 (更新: 2024-10-17)

备注: 38th Pacific Asia Conference on Language, Information and Computation

💡 一句话要点

评估大型语言模型在韩语中的语用能力以填补评估空白

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 语用能力 韩语 多项选择题 开放式问题 上下文理解 自然语言处理

📋 核心要点

  1. 现有的评估方法主要关注模型的嵌入知识和技术技能，忽视了对人类语言细微差别的理解能力。
  2. 本研究提出通过多项选择题和开放式问题相结合的方式，从语用学角度评估LLMs对上下文依赖表达的理解能力。
  3. 实验结果表明，GPT-4在MCQs和OEQs中均表现优异，分别得分81.11和85.69，显示出其在语用理解方面的优势。

📝 摘要（中文）

基准测试在大型语言模型（LLMs）的评估中扮演着重要角色，但往往忽视了模型捕捉人类语言细微差别的能力，主要集中在评估嵌入知识和技术技能。为了解决这一问题，本研究从语用学的角度评估LLMs对上下文依赖表达的理解，特别是在韩语中。我们使用多项选择题（MCQs）进行自动评估，并通过人类专家评估开放式问题（OEQs）。结果显示，GPT-4在MCQs中以81.11的得分领先，在OEQs中以85.69的得分紧随其后的是HyperCLOVA X。此外，尽管少量学习通常提高了性能，但链式思维（CoT）提示往往鼓励字面解释，这可能限制有效的语用推理。我们的研究结果强调了LLMs需要更好地理解和生成反映人类交际规范的语言。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在评估中对上下文依赖表达理解不足的问题。现有方法往往忽视了模型的语用能力，导致评估结果无法全面反映模型的实际表现。

核心思路：论文通过结合多项选择题（MCQs）和开放式问题（OEQs）的方法，全面评估LLMs在韩语中的语用理解能力，强调上下文对语言理解的重要性。

技术框架：整体架构包括两个主要模块：首先是自动评估的MCQs，其次是由人类专家评估的OEQs。这种双重评估方式能够更全面地反映模型的语用能力。

关键创新：本研究的创新点在于首次从语用学的角度系统评估LLMs的表现，特别是在韩语中，填补了现有评估方法的空白。

关键设计：在实验中，采用了少量学习策略以提高模型性能，同时注意到链式思维提示可能导致字面解释的倾向，从而影响语用推理的有效性。实验设计中还考虑了不同类型问题的组合，以确保评估的全面性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，GPT-4在多项选择题（MCQs）中得分81.11，在开放式问题（OEQs）中得分85.69，表现优于其他模型，如HyperCLOVA X。这表明GPT-4在理解上下文依赖表达方面具有显著优势，提升幅度明显。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能客服、教育技术等。通过提升大型语言模型的语用理解能力，可以更好地服务于人机交互、语言学习和自动翻译等实际应用，未来可能对相关领域产生深远影响。

📄 摘要（原文）

Benchmarks play a significant role in the current evaluation of Large Language Models (LLMs), yet they often overlook the models' abilities to capture the nuances of human language, primarily focusing on evaluating embedded knowledge and technical skills. To address this gap, our study evaluates how well LLMs understand context-dependent expressions from a pragmatic standpoint, specifically in Korean. We use both Multiple-Choice Questions (MCQs) for automatic evaluation and Open-Ended Questions (OEQs) assessed by human experts. Our results show that GPT-4 leads with scores of 81.11 in MCQs and 85.69 in OEQs, closely followed by HyperCLOVA X. Additionally, while few-shot learning generally improves performance, Chain-of-Thought (CoT) prompting tends to encourage literal interpretations, which may limit effective pragmatic inference. Our findings highlight the need for LLMs to better understand and generate language that reflects human communicative norms.