JMultiWOZ: A Large-Scale Japanese Multi-Domain Task-Oriented Dialogue Dataset

📄 arXiv: 2403.17319v1 📥 PDF

作者: Atsumoto Ohashi, Ryu Hirai, Shinya Iizuka, Ryuichiro Higashinaka

分类: cs.CL, cs.AI

发布日期: 2024-03-26

备注: Accepted by LREC-COLING 2024

💡 一句话要点

构建JMultiWOZ以推动日语多领域任务导向对话系统研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 日语对话系统 多领域对话 任务导向对话 数据集构建 自然语言处理

📋 核心要点

  1. 现有的多领域任务导向对话系统研究在日语方面相对匮乏，缺乏大规模的日语数据集。
  2. 本研究构建了JMultiWOZ数据集，旨在为日语任务导向对话系统的研究与开发提供基础数据支持。
  3. 实验结果表明，JMultiWOZ在对话状态跟踪和响应生成能力上与MultiWOZ2.2相当，同时揭示了LLM在日语任务完成中的局限性。

📝 摘要（中文）

对话数据集对于基于深度学习的任务导向对话系统研究至关重要。尽管已有多个英语多领域任务导向对话数据集的开发，日语领域却缺乏相应的数据集。本研究构建了JMultiWOZ，这是首个大规模日语多领域任务导向对话数据集。通过对比评估，JMultiWOZ在对话状态跟踪和响应生成能力上与现有的英语基准数据集MultiWOZ2.2相当，并揭示了大型语言模型在日语任务完成能力上的局限性。

🔬 方法详解

问题定义：本研究旨在解决日语多领域任务导向对话系统缺乏大规模数据集的问题。现有方法在日语对话系统研究中面临数据稀缺和性能评估不足的挑战。

核心思路：通过构建JMultiWOZ数据集，提供一个丰富的日语对话数据基础，支持对话状态跟踪和响应生成的研究。该数据集的设计考虑了多领域对话的复杂性和多样性。

技术框架：JMultiWOZ的数据集构建包括数据收集、标注和验证三个主要阶段。首先，通过多种渠道收集日语对话数据，然后进行人工标注，最后通过专家审核确保数据质量。

关键创新：JMultiWOZ是首个大规模日语多领域任务导向对话数据集，填补了日语对话系统研究的空白。与现有的英语数据集相比，JMultiWOZ在多样性和复杂性上具有独特优势。

关键设计：数据集的构建过程中，采用了多种标注策略和质量控制措施，确保数据的准确性和代表性。同时，数据集包含多种对话场景，涵盖了餐饮、旅游等多个领域。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，JMultiWOZ在对话状态跟踪和响应生成能力上与MultiWOZ2.2相当，验证了其作为基准数据集的有效性。此外，通过与人类参与者的互动实验，揭示了大型语言模型在日语任务完成能力上的局限性，提供了未来改进的方向。

🎯 应用场景

JMultiWOZ数据集的构建为日语任务导向对话系统的研究提供了重要基础，具有广泛的应用潜力。它可以用于训练和评估各种对话系统，推动日语自然语言处理技术的发展，尤其是在智能客服、语音助手等领域的应用。未来，该数据集还可能促进跨语言对话系统的研究与开发。

📄 摘要（原文）

Dialogue datasets are crucial for deep learning-based task-oriented dialogue system research. While numerous English language multi-domain task-oriented dialogue datasets have been developed and contributed to significant advancements in task-oriented dialogue systems, such a dataset does not exist in Japanese, and research in this area is limited compared to that in English. In this study, towards the advancement of research and development of task-oriented dialogue systems in Japanese, we constructed JMultiWOZ, the first Japanese language large-scale multi-domain task-oriented dialogue dataset. Using JMultiWOZ, we evaluated the dialogue state tracking and response generation capabilities of the state-of-the-art methods on the existing major English benchmark dataset MultiWOZ2.2 and the latest large language model (LLM)-based methods. Our evaluation results demonstrated that JMultiWOZ provides a benchmark that is on par with MultiWOZ2.2. In addition, through evaluation experiments of interactive dialogues with the models and human participants, we identified limitations in the task completion capabilities of LLMs in Japanese.