SynthDST: Synthetic Data is All You Need for Few-Shot Dialog State Tracking
作者: Atharva Kulkarni, Bo-Hsiang Tseng, Joel Ruben Antony Moniz, Dhivya Piraviperumal, Hong Yu, Shruti Bhargava
分类: cs.CL, cs.AI, cs.LG
发布日期: 2024-02-03
备注: 9 pages. 4 figures, EACL 2024 main conference
🔗 代码/项目: GITHUB
💡 一句话要点
提出SynthDST以解决对话状态跟踪中的数据稀缺问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 对话状态跟踪 合成数据 几-shot学习 大语言模型 自然语言处理
📋 核心要点
- 现有对话状态跟踪方法依赖于大量标注数据，获取这些数据既耗时又昂贵。
- 本文提出SynthDST框架，通过对话模式和少量模板生成合成数据，支持几-shot学习。
- 实验结果表明，SynthDST生成的数据在准确率上较零-shot基线提升4-5%，接近人工标注数据的性能。
📝 摘要（中文）
随着大语言模型（LLMs）在对话状态跟踪（DST）中的应用逐渐增多，现有的最佳方法依赖于检索和添加相似示例到提示中，这需要访问标注的训练数据。然而，获取广泛领域的标注数据既耗时又昂贵，甚至在某些情况下不可行。为此，本文提出了SynthDST，一个基于LLMs的数据生成框架，仅需对话模式和少量手工设计的对话模板，即可合成自然、连贯且流畅的对话及其DST标注。使用SynthDST生成的数据在MultiWOZ 2.1和2.4上实现了4-5%的联合目标准确率提升，且其性能几乎恢复到使用人工标注训练数据的几-shot设置的98%。
🔬 方法详解
问题定义：本文旨在解决对话状态跟踪中对标注数据的依赖问题，现有方法在数据获取上存在高成本和时间消耗的痛点。
核心思路：SynthDST框架通过利用大语言模型生成合成对话数据，仅需对话模式和少量模板，从而实现高效的几-shot学习。
技术框架：该框架包括数据生成模块和对话模板设计，首先根据对话模式生成合成对话，然后为这些对话添加DST标注。
关键创新：SynthDST的创新在于其能够在无需大量标注数据的情况下，生成高质量的合成数据，显著提升对话状态跟踪的性能。
关键设计：在设计中，选择了合适的对话模板和生成策略，确保生成的对话自然流畅，并通过特定的标注规则为合成数据添加DST信息。
🖼️ 关键图片
📊 实验亮点
在MultiWOZ 2.1和2.4数据集上，使用SynthDST生成的合成数据使联合目标准确率提升了4-5%，并且其性能几乎恢复到使用人工标注数据的98%，显示出合成数据的有效性和实用性。
🎯 应用场景
SynthDST的研究成果可广泛应用于智能客服、虚拟助手等对话系统中，帮助这些系统在缺乏标注数据的情况下，依然能够有效进行对话状态跟踪，提升用户体验。未来，该方法还可能推动更多领域的对话系统发展，降低数据准备成本。
📄 摘要（原文）
In-context learning with Large Language Models (LLMs) has emerged as a promising avenue of research in Dialog State Tracking (DST). However, the best-performing in-context learning methods involve retrieving and adding similar examples to the prompt, requiring access to labeled training data. Procuring such training data for a wide range of domains and applications is time-consuming, expensive, and, at times, infeasible. While zero-shot learning requires no training data, it significantly lags behind the few-shot setup. Thus, `\textit{Can we efficiently generate synthetic data for any dialogue schema to enable few-shot prompting?}' Addressing this question, we propose \method, a data generation framework tailored for DST, utilizing LLMs. Our approach only requires the dialogue schema and a few hand-crafted dialogue templates to synthesize natural, coherent, and free-flowing dialogues with DST annotations. Few-shot learning using data from {\method} results in $4-5%$ improvement in Joint Goal Accuracy over the zero-shot baseline on MultiWOZ 2.1 and 2.4. Remarkably, our few-shot learning approach recovers nearly $98%$ of the performance compared to the few-shot setup using human-annotated training data. Our synthetic data and code can be accessed at https://github.com/apple/ml-synthdst