CAUSE: Counterfactual Assessment of User Satisfaction Estimation in Task-Oriented Dialogue Systems
作者: Amin Abolghasemi, Zhaochun Ren, Arian Askari, Mohammad Aliannejadi, Maarten de Rijke, Suzan Verberne
分类: cs.CL
发布日期: 2024-03-27 (更新: 2024-08-20)
💡 一句话要点
提出基于反事实生成的用户满意度评估方法以解决对话系统中的数据不平衡问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 用户满意度 任务导向对话系统 反事实生成 大型语言模型 数据增强 情感分析
📋 核心要点
- 现有任务导向对话系统的用户满意度评估方法在识别用户不满意度方面存在显著不足，数据集偏向于满意对话。
- 本文提出利用大型语言模型生成反事实对话，以增强测试集的多样性，解决数据不平衡问题。
- 实验结果显示，开源大型语言模型在少量样本评估中对不满意标签的增加表现出更高的稳健性，优于微调的最先进模型。
📝 摘要（中文）
在任务导向对话系统中，用户满意度评估的研究往往忽视了对用户不满意度的稳健性评估。现有基准数据集偏向于满意对话，导致对不满意对话的识别能力不足。本文利用大型语言模型生成反事实对话，增强测试集的多样性，并通过人工标注确保生成样本的可靠性。实验表明，作为少量样本的用户满意度评估器，开源大型语言模型在面对不满意标签增加时表现出更高的稳健性，超越了现有的微调模型。我们发布了经过人工标注的对齐反事实对话，以促进后续研究。
🔬 方法详解
问题定义：本文旨在解决任务导向对话系统中用户满意度评估的稳健性问题，现有方法在处理不满意对话时表现不佳，且数据集严重偏向于满意对话。
核心思路：通过利用大型语言模型生成反事实对话，增强测试集中的不满意样本，从而提高模型对用户不满意度的识别能力。此方法避免了昂贵且耗时的数据收集和人工标注过程。
技术框架：整体流程包括使用大型语言模型生成反事实对话、进行人工标注以确保样本质量、以及将生成的样本与原始对话集合并，形成增强后的测试集。
关键创新：本研究的创新点在于首次将反事实生成技术应用于用户满意度评估，显著提高了模型在不平衡数据集上的表现，区别于传统的依赖于真实数据的评估方法。
关键设计：在模型训练中，采用了特定的损失函数以平衡满意与不满意样本的影响，并通过少量样本学习策略优化模型性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，开源大型语言模型在面对不满意标签增加时，用户满意度评估的稳健性显著提高，相较于微调的最先进模型，表现出更高的准确性和鲁棒性，具体提升幅度未知。
🎯 应用场景
该研究的潜在应用领域包括智能客服、语音助手和其他任务导向对话系统，能够有效提升用户体验和满意度评估的准确性。未来，该方法可推广至其他领域的情感分析和用户反馈系统，具有广泛的实际价值。
📄 摘要（原文）
An important unexplored aspect in previous work on user satisfaction estimation for Task-Oriented Dialogue (TOD) systems is their evaluation in terms of robustness for the identification of user dissatisfaction: current benchmarks for user satisfaction estimation in TOD systems are highly skewed towards dialogues for which the user is satisfied. The effect of having a more balanced set of satisfaction labels on performance is unknown. However, balancing the data with more dissatisfactory dialogue samples requires further data collection and human annotation, which is costly and time-consuming. In this work, we leverage large language models (LLMs) and unlock their ability to generate satisfaction-aware counterfactual dialogues to augment the set of original dialogues of a test collection. We gather human annotations to ensure the reliability of the generated samples. We evaluate two open-source LLMs as user satisfaction estimators on our augmented collection against state-of-the-art fine-tuned models. Our experiments show that when used as few-shot user satisfaction estimators, open-source LLMs show higher robustness to the increase in the number of dissatisfaction labels in the test collection than the fine-tuned state-of-the-art models. Our results shed light on the need for data augmentation approaches for user satisfaction estimation in TOD systems. We release our aligned counterfactual dialogues, which are curated by human annotation, to facilitate further research on this topic.