Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs
作者: Clemencia Siro, Mohammad Aliannejadi, Maarten de Rijke
分类: cs.IR, cs.CL
发布日期: 2024-04-19 (更新: 2024-04-29)
备注: Accepted at SIGIR 2024 long paper track
💡 一句话要点
提出用户反馈机制以优化对话系统评估
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 对话系统 用户反馈 众包评估 大型语言模型 系统评估 个性化评估
📋 核心要点
- 现有对话系统评估方法多依赖众包标签，缺乏用户反馈的考虑，导致评估结果的局限性。
- 本文提出通过引入用户的后续发言来评估对话系统，探索用户反馈对评估结果的影响。
- 实验结果显示，用户反馈显著改善了评估的一致性和个性化，尤其在复杂请求的情况下效果明显。
📝 摘要（中文）
在临时检索中，评估通常依赖用户行为，包括隐性反馈。然而，在对话场景中，这些信号往往缺失，评估多依赖众包标签。本文研究用户反馈如何影响对话系统（TDS）的评估，比较了包含用户后续发言与不包含的两种评估方法。通过众包工作者和大型语言模型（LLMs）作为标注者，评估系统响应的相关性、实用性、趣味性和解释质量。结果表明，用户反馈显著影响评估结果，众包工作者在实用性和趣味性方面对用户反馈更敏感，而LLMs则在趣味性和相关性方面表现更佳。此外，用户反馈在处理模糊或复杂请求时提高了众包工作者之间的一致性。研究结果强调了用户反馈在系统评估中的重要性，并建议未来研究中整合自动反馈的潜力。我们公开发布了标注数据以促进该领域的研究。
🔬 方法详解
问题定义：本文旨在解决对话系统评估中缺乏用户反馈的问题，现有方法往往依赖众包标注，无法充分反映用户的真实需求和反馈。
核心思路：通过引入用户的后续发言作为评估依据，研究用户反馈对对话系统评估的影响，旨在提升评估的准确性和个性化。
技术框架：研究采用两种评估方法，一种包含用户的后续发言，另一种则不包含。通过众包工作者和大型语言模型（LLMs）对系统响应进行评估，涵盖相关性、实用性、趣味性和解释质量四个维度。
关键创新：本研究的创新点在于首次系统性地探讨用户反馈在对话系统评估中的作用，揭示了众包工作者与LLMs在评估时的不同反应，强调了用户反馈的重要性。
关键设计：在实验中，设置了不同的评估维度，并通过对比分析众包工作者与LLMs的评分差异，特别关注了用户反馈对实用性和趣味性的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，众包工作者在实用性和趣味性方面对用户反馈的敏感度显著高于LLMs，而在趣味性和相关性方面，LLMs表现更佳。用户反馈的引入提高了评估的一致性，尤其在处理复杂请求时，众包工作者之间的评分一致性显著提升。
🎯 应用场景
该研究的潜在应用领域包括智能客服、虚拟助手和其他基于对话的系统。通过优化评估机制，能够提升系统的用户体验和满意度，未来可能推动更智能的对话系统开发。
📄 摘要（原文）
In ad-hoc retrieval, evaluation relies heavily on user actions, including implicit feedback. In a conversational setting such signals are usually unavailable due to the nature of the interactions, and, instead, the evaluation often relies on crowdsourced evaluation labels. The role of user feedback in annotators' assessment of turns in a conversational perception has been little studied. We focus on how the evaluation of task-oriented dialogue systems (TDSs), is affected by considering user feedback, explicit or implicit, as provided through the follow-up utterance of a turn being evaluated. We explore and compare two methodologies for assessing TDSs: one includes the user's follow-up utterance and one without. We use both crowdworkers and large language models (LLMs) as annotators to assess system responses across four aspects: relevance, usefulness, interestingness, and explanation quality. Our findings indicate that there is a distinct difference in ratings assigned by both annotator groups in the two setups, indicating user feedback does influence system evaluation. Workers are more susceptible to user feedback on usefulness and interestingness compared to LLMs on interestingness and relevance. User feedback leads to a more personalized assessment of usefulness by workers, aligning closely with the user's explicit feedback. Additionally, in cases of ambiguous or complex user requests, user feedback improves agreement among crowdworkers. These findings emphasize the significance of user feedback in refining system evaluations and suggest the potential for automated feedback integration in future research. We publicly release the annotated data to foster research in this area.