Effective and Efficient Conversation Retrieval for Dialogue State Tracking with Implicit Text Summaries

📄 arXiv: 2402.13043v3 📥 PDF

作者: Seanie Lee, Jianpeng Cheng, Joris Driesen, Alexandru Coca, Anders Johannsen

分类: cs.CL

发布日期: 2024-02-20 (更新: 2024-04-02)

备注: NAACL 2024

💡 一句话要点

提出基于文本摘要的对话检索方法以解决少样本对话状态追踪问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话状态追踪 少样本学习 对话检索 文本摘要 大语言模型

📋 核心要点

  1. 现有方法依赖于微调的对话检索器，难以扩展到新领域或新标注语言，限制了其应用。
  2. 本文提出基于对话文本摘要的检索方法，通过LLM生成查询和键，提升检索效率。
  3. 实验结果表明，所提方法在MultiWOZ数据集上显著优于相关基线，验证了其有效性。

📝 摘要（中文）

少样本对话状态追踪（DST）依赖于有效且高效的对话检索器来寻找相似的上下文示例以进行提示学习。以往的方法使用原始对话上下文作为搜索键和查询，并通过标注对话进行检索器的微调，然而这种方法在新领域或新标注语言中不易扩展。为了解决这一问题，本文基于对话的文本摘要进行对话检索，采用基于大语言模型（LLM）的对话摘要生成器进行查询和键的生成，从而实现有效的最大内积搜索。为了避免LLM摘要生成带来的额外推理成本，本文进一步提炼出轻量级对话编码器，在测试对话中直接生成查询嵌入。我们在MultiWOZ数据集上验证了该检索方法，使用了GPT-Neo-2.7B和LLaMA-7B/30B，实验结果显示在真实的少样本DST设置中，相较于相关基线有显著提升。

🔬 方法详解

问题定义：本文旨在解决少样本对话状态追踪中的对话检索问题。现有方法依赖于微调的对话检索器，难以适应新领域或新标注语言，导致在缺乏标注数据时性能下降。

核心思路：本文的核心思路是利用对话的文本摘要进行检索，采用LLM生成查询和键，从而实现高效的对话检索，避免了对原始对话上下文的直接依赖。

技术框架：整体架构包括两个主要模块：首先是基于LLM的对话摘要生成器，用于生成查询和键；其次是轻量级对话编码器，直接生成查询嵌入，避免了在测试阶段的摘要解码过程。

关键创新：本文的主要创新在于将对话摘要生成与检索结合，提出了一种新的检索方式，显著提高了对话状态追踪的效率和准确性，尤其在缺乏标注数据的情况下。

关键设计：在设计中，采用了轻量级的对话编码器以减少推理成本，并通过最大内积搜索优化了检索过程，确保了在实际应用中的高效性。实验中使用的模型包括GPT-Neo-2.7B和LLaMA-7B/30B，验证了设计的有效性。

📊 实验亮点

实验结果显示，所提方法在MultiWOZ数据集上相较于相关基线有显著提升，具体表现为在真实的少样本DST设置中，检索性能提高了XX%（具体数据待补充），验证了方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括智能客服、对话系统和人机交互等场景。通过提高对话状态追踪的效率和准确性，能够显著提升用户体验和系统响应能力，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Few-shot dialogue state tracking (DST) with Large Language Models (LLM) relies on an effective and efficient conversation retriever to find similar in-context examples for prompt learning. Previous works use raw dialogue context as search keys and queries, and a retriever is fine-tuned with annotated dialogues to achieve superior performance. However, the approach is less suited for scaling to new domains or new annotation languages, where fine-tuning data is unavailable. To address this problem, we handle the task of conversation retrieval based on text summaries of the conversations. A LLM-based conversation summarizer is adopted for query and key generation, which enables effective maximum inner product search. To avoid the extra inference cost brought by LLM-based conversation summarization, we further distill a light-weight conversation encoder which produces query embeddings without decoding summaries for test conversations. We validate our retrieval approach on MultiWOZ datasets with GPT-Neo-2.7B and LLaMA-7B/30B. The experimental results show a significant improvement over relevant baselines in real few-shot DST settings.