A Survey of the Evolution of Language Model-Based Dialogue Systems: Data, Task and Models

📄 arXiv: 2311.16789v2 📥 PDF

作者: Hongru Wang, Lingzhi Wang, Yiming Du, Liang Chen, Jingyan Zhou, Yufei Wang, Kam-Fai Wong

分类: cs.CL, cs.AI

发布日期: 2023-11-28 (更新: 2025-07-20)

💡 一句话要点

综述语言模型驱动的对话系统演变，揭示未来发展方向

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话系统 语言模型 预训练模型 开放域对话 任务导向对话 自然语言处理 研究综述

📋 核心要点

  1. 对话系统在自然语言处理中的应用广泛，但现有方法在处理复杂对话时仍面临挑战。
  2. 本文通过系统回顾对话系统与语言模型的演变，提供了不同阶段的分类和研究成果评述。
  3. 探讨了新兴主题和开放挑战，为未来LLM驱动的对话系统发展提供了方向性指导。

📝 摘要（中文）

对话系统（DS），包括任务导向对话系统（TOD）和开放域对话系统（ODD），在自然语言处理（NLP）中一直是基础任务，具有广泛的应用。语言模型（LM）作为对话系统的核心支撑，随着预训练语言模型（PLM）和大型语言模型（LLM）的出现，推动了学习范式的转变。本文系统回顾了对话系统的发展历程，特别是与语言模型进展的关系，分类不同阶段，提供了前沿研究成果的全面评述。同时，探讨了新兴主题和开放挑战，为LLM驱动的对话系统的未来发展提供了宝贵见解。通过这一探索，本文为深入理解该领域铺平了道路，指导未来的LM驱动对话系统的发展。

🔬 方法详解

问题定义：本文旨在解决对话系统与语言模型之间演变关系的理解不足，现有研究多集中于单一模型或任务，缺乏系统性视角。

核心思路：通过对对话系统历史的深入分析，结合语言模型的进展，提供一个系统化的分类框架，帮助研究者理解其演变过程及未来方向。

技术框架：整体架构包括对话系统的历史回顾、语言模型的演变、不同阶段的分类及其对应的研究成果，形成一个时间线式的视角。

关键创新：本文的创新在于系统性地将对话系统的发展与语言模型的进步相结合，提供了一个新的视角，强调了两者之间的动态互动关系。

关键设计：在分类过程中，采用了时间线的方式，明确标识出每个阶段的关键技术突破和研究成果，确保对话系统的演变过程清晰可见。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

本文通过系统回顾与分析，揭示了语言模型在对话系统演变中的关键作用，强调了预训练和大型语言模型的影响，为未来研究提供了新的视角和方向，推动了对话系统的性能提升。

🎯 应用场景

该研究为对话系统的设计与优化提供了理论基础，尤其是在任务导向和开放域对话系统的应用中，能够帮助研究者和工程师更好地理解模型演变与应用场景的关系，推动实际应用的创新与发展。

📄 摘要（原文）

Dialogue systems (DS), including the task-oriented dialogue system (TOD) and the open-domain dialogue system (ODD), have always been a fundamental task in natural language processing (NLP), allowing various applications in practice. Owing to sophisticated training and well-designed model architecture, language models (LM) are usually adopted as the necessary backbone to build the dialogue system. Consequently, every breakthrough in LM brings about a shift in learning paradigm and research attention within dialogue system, especially the appearance of pre-trained language models (PLMs) and large language models (LLMs). In this paper, we take a deep look at the history of the dialogue system, especially its special relationship with the advancements of language models. Thus, our survey offers a systematic perspective, categorizing different stages in a chronological order aligned with LM breakthroughs, providing a comprehensive review of state-of-the-art research outcomes. What's more, we turn our attention to emerging topics and engage in a discussion on open challenges, providing valuable insights into the future directions for LLM-based dialogue systems. In summary, this survey delves into the dynamic interplay between language models and dialogue systems, unraveling the evolutionary path of this essential relationship. Through this exploration, we pave the way for a deeper comprehension of the field, guiding future developments in LM-based dialogue systems.