Do Large Language Models Understand Conversational Implicature -- A case study with a chinese sitcom
作者: Shisen Yue, Siyuan Song, Xinyuan Cheng, Hai Hu
分类: cs.CL
发布日期: 2024-04-30 (更新: 2024-07-31)
备注: 14 pages, 8 tables and 5 figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出SwordsmanImp数据集以解决大语言模型对会话含义理解的挑战
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 会话含义 大型语言模型 数据集构建 自然语言处理 中文对话
📋 核心要点
- 核心问题：现有大型语言模型在理解会话含义方面存在显著不足，尤其是在非字面意义的解释上。
- 方法要点：本研究提出了SwordsmanImp数据集，专注于会话含义的多轮对话，标注了格赖斯准则的违反情况。
- 实验或效果：实验结果显示，GPT-4在多项选择题中表现优异，准确率达到94%，而其他模型的表现则相对较低。
📝 摘要（中文）
理解言语的非字面意义对于大型语言模型（LLMs）成为类人社交沟通者至关重要。本研究引入了SwordsmanImp，这是第一个基于中文多轮对话的会话含义数据集，来源于中国情景喜剧《我的兄弟叫顺溜》的对话。该数据集包含200个精心制作的问题，并标注了违反的格赖斯准则。我们对八个闭源和开源的LLMs进行了测试，结果显示GPT-4在多项选择题中达到了94%的准确率，表现出人类水平的能力。其他模型的准确率则较低，范围在20%到60%之间。人类评审员对LLMs生成的含义解释进行了评估，发现除了GPT-4外，其他模型的解释在合理性上得分较低，表明大多数LLMs无法提供令人满意的会话含义解释。
🔬 方法详解
问题定义：本论文旨在解决大型语言模型在理解会话含义方面的不足，尤其是对非字面意义的理解和解释能力。现有方法在处理复杂对话时，往往无法准确捕捉隐含的社交语境和语用信息。
核心思路：论文提出了SwordsmanImp数据集，专注于中文多轮对话中的会话含义，利用来自《我的兄弟叫顺溜》的对话进行数据收集和标注，旨在为LLMs提供更具挑战性的理解任务。
技术框架：整体架构包括数据集构建、模型训练和评估三个主要阶段。数据集构建阶段涉及问题设计和格赖斯准则的标注；模型训练阶段则使用多种LLMs进行实验；评估阶段则通过人类评审员对生成的解释进行评分。
关键创新：最重要的技术创新点在于首次构建了针对中文会话含义的多轮对话数据集，并系统性地评估了不同LLMs在理解隐含意义方面的能力，这在现有文献中尚属首次。
关键设计：在数据集构建中，采用了200个问题的设计，确保问题的多样性和挑战性；模型评估中，使用了多项选择题和含义解释任务，以全面评估模型的理解能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GPT-4在多项选择题中达到了94%的准确率，表现出色，远超其他模型。CausalLM的准确率为78.5%，而GPT-3.5及其他开源模型的准确率则在20%到60%之间，显示出显著的性能差异。
🎯 应用场景
该研究的潜在应用领域包括智能客服、社交机器人和人机交互系统等。通过提高大型语言模型对会话含义的理解能力，可以显著提升这些系统的交互质量和用户体验，推动自然语言处理技术的进一步发展。
📄 摘要（原文）
Understanding the non-literal meaning of an utterance is critical for large language models (LLMs) to become human-like social communicators. In this work, we introduce SwordsmanImp, the first Chinese multi-turn-dialogue-based dataset aimed at conversational implicature, sourced from dialogues in the Chinese sitcom $\textit{My Own Swordsman}$. It includes 200 carefully handcrafted questions, all annotated on which Gricean maxims have been violated. We test eight close-source and open-source LLMs under two tasks: a multiple-choice question task and an implicature explanation task. Our results show that GPT-4 attains human-level accuracy (94%) on multiple-choice questions. CausalLM demonstrates a 78.5% accuracy following GPT-4. Other models, including GPT-3.5 and several open-source models, demonstrate a lower accuracy ranging from 20% to 60% on multiple-choice questions. Human raters were asked to rate the explanation of the implicatures generated by LLMs on their reasonability, logic and fluency. While all models generate largely fluent and self-consistent text, their explanations score low on reasonability except for GPT-4, suggesting that most LLMs cannot produce satisfactory explanations of the implicatures in the conversation. Moreover, we find LLMs' performance does not vary significantly by Gricean maxims, suggesting that LLMs do not seem to process implicatures derived from different maxims differently. Our data and code are available at https://github.com/sjtu-compling/llm-pragmatics.