Large Language Models as Zero-shot Dialogue State Tracker through Function Calling

📄 arXiv: 2402.10466v4 📥 PDF

作者: Zekun Li, Zhiyu Zoey Chen, Mike Ross, Patrick Huber, Seungwhan Moon, Zhaojiang Lin, Xin Luna Dong, Adithya Sagar, Xifeng Yan, Paul A. Crook

分类: cs.CL, cs.AI

发布日期: 2024-02-16 (更新: 2024-05-30)

备注: ACL 2024 Main. Code available at: https://github.com/facebookresearch/FnCTOD

🔗 代码/项目: GITHUB

💡 一句话要点

提出FnCTOD以解决任务导向对话状态跟踪问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话状态跟踪 大型语言模型 函数调用 任务导向对话 零-shot学习 模型微调 自然语言处理

📋 核心要点

  1. 现有的任务导向对话系统在对话状态跟踪方面表现不佳，尤其是在缺乏足够数据时。
  2. 本文提出FnCTOD方法，通过函数调用实现零-shot对话状态跟踪，提升了模型的适应性和性能。
  3. 实验结果显示，使用该方法的模型在多个基准测试中显著超越了ChatGPT，尤其是在GPT-4上提升了14%。

📝 摘要（中文）

大型语言模型（LLMs）在对话系统中越来越普遍，因其在一般上下文中的理解和生成能力。然而，在任务导向对话（TOD）中，LLMs的表现仍不尽如人意。本文提出了一种新方法FnCTOD，通过函数调用来解决对话状态跟踪（DST）问题。该方法在零-shot DST中表现出色，能够适应多种领域而无需大量数据收集或模型调优。实验结果表明，该方法在多种7B或13B参数模型上超越了ChatGPT的最新性能，平均联合目标准确率提高了5.6%。

🔬 方法详解

问题定义：本文旨在解决任务导向对话中的对话状态跟踪（DST）问题。现有方法在特定任务和领域中表现不佳，尤其是在缺乏足够训练数据的情况下，难以实现有效的状态跟踪。

核心思路：论文提出的FnCTOD方法通过函数调用实现零-shot DST，允许模型在不同领域中快速适应，而无需进行大量数据收集或模型调优。这种方法利用了大型语言模型的生成能力，增强了其在特定任务中的应用效果。

技术框架：该方法的整体架构包括输入处理、函数调用解析和状态跟踪三个主要模块。首先，通过上下文提示输入对话信息，然后解析函数调用以提取状态信息，最后更新对话状态以实现有效跟踪。

关键创新：FnCTOD的主要创新在于通过函数调用实现对话状态跟踪，这一设计使得模型能够在没有额外训练的情况下，直接从上下文中提取信息并进行状态更新。这与传统方法依赖于大量标注数据的方式形成鲜明对比。

关键设计：在模型设计上，FnCTOD使用了7B和13B参数的开源和专有LLMs，并通过上下文提示进行微调。此外，针对小规模任务导向对话的微调也被应用于13B参数的LLaMA2-Chat模型，以增强其函数调用能力和DST性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FnCTOD方法在多个基准测试中表现优异，尤其是7B和13B参数模型在联合目标准确率上超越了ChatGPT，平均提升幅度达到5.6%。具体而言，GPT-3.5和GPT-4的性能分别提升了4.8%和14%。

🎯 应用场景

该研究的潜在应用领域包括智能客服、虚拟助手和其他需要高效对话管理的任务导向系统。通过提升对话状态跟踪的能力，FnCTOD能够显著改善用户体验，降低人工干预的需求，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) are increasingly prevalent in conversational systems due to their advanced understanding and generative capabilities in general contexts. However, their effectiveness in task-oriented dialogues (TOD), which requires not only response generation but also effective dialogue state tracking (DST) within specific tasks and domains, remains less satisfying. In this work, we propose a novel approach FnCTOD for solving DST with LLMs through function calling. This method improves zero-shot DST, allowing adaptation to diverse domains without extensive data collection or model tuning. Our experimental results demonstrate that our approach achieves exceptional performance with both modestly sized open-source and also proprietary LLMs: with in-context prompting it enables various 7B or 13B parameter models to surpass the previous state-of-the-art (SOTA) achieved by ChatGPT, and improves ChatGPT's performance beating the SOTA by 5.6% average joint goal accuracy (JGA). Individual model results for GPT-3.5 and GPT-4 are boosted by 4.8% and 14%, respectively. We also show that by fine-tuning on a small collection of diverse task-oriented dialogues, we can equip modestly sized models, specifically a 13B parameter LLaMA2-Chat model, with function-calling capabilities and DST performance comparable to ChatGPT while maintaining their chat capabilities. We have made the code publicly available at https://github.com/facebookresearch/FnCTOD