IRWOZ 2.0: A Large Language Model-driven Dialogue Dataset for Industrial Robot Conversations

📄 arXiv: 2609.04030v1 📥 PDF

作者: Chen Li, Dimitrios Chrysostomou

分类: cs.AI

发布日期: 2026-09-03

💡 一句话要点

提出IRWOZ 2.0以解决工业人机对话系统的状态跟踪问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工业人机交互 对话系统 大型语言模型 数据集改进 状态跟踪 机器人技术 自然语言处理

📋 核心要点

  1. 现有的IRWOZ数据集在对话状态和发言中存在噪声，限制了状态跟踪的准确性。
  2. IRWOZ 2.0通过大型语言模型生成和质量改进，提供了更准确的对话数据。
  3. 基准实验表明，GPT-2的BLEU-4分数从0.1651提升至0.5604，显示出显著的性能改进。

📝 摘要（中文）

IRWOZ通过领域特定的注释改善了工业人机交互（HRI）对话系统。然而，初始版本在对话状态和发言中存在大量噪声，限制了状态跟踪的准确性。我们引入IRWOZ 2.0，通过大型语言模型（LLM）增强生成（Mistral/Claude-3.5）和质量改进，解决了这些局限性。改进后的数据集扩展到390个对话，涵盖4个工业领域（组装、交付、定位、搬迁），并进行了手动修正和自动拼写错误删除。对话状态跟踪的基准实验显示显著改进，GPT-2的BLEU-4分数从0.1651提高到0.5604。为了支持工业HRI研究，我们公开发布了IRWOZ 2.0数据集。

🔬 方法详解

问题定义：论文旨在解决IRWOZ数据集中对话状态和发言噪声的问题，这限制了工业人机对话系统的状态跟踪准确性。

核心思路：通过引入大型语言模型（如Mistral和Claude-3.5）来增强对话生成，并进行质量改进，以提高数据集的准确性和可靠性。

技术框架：整体架构包括数据收集、对话生成、手动修正和自动拼写错误删除等多个阶段，确保生成的对话数据质量高且适用于工业应用。

关键创新：最重要的创新在于利用大型语言模型进行对话生成和质量控制，这与传统方法相比，显著提高了数据集的准确性和实用性。

关键设计：在数据集生成过程中，采用了手动修正和自动拼写错误删除的策略，确保生成的对话在语义和语法上都更加准确。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，IRWOZ 2.0在对话状态跟踪任务中表现优异，GPT-2的BLEU-4分数从原始IRWOZ的0.1651提升至0.5604，提升幅度显著，证明了数据集质量的显著改善。

🎯 应用场景

该研究的潜在应用领域包括工业机器人与人类工人之间的高效沟通，能够提升生产线的自动化水平和工作效率。IRWOZ 2.0的数据集为后续的HRI研究提供了基础，推动了智能制造和人机协作的发展。

📄 摘要（原文）

IRWOZ has improved industrial human-robot interaction (HRI) dialogue systems through domain-specific annotations. However, its initial version contains substantial noise in dialogue states and utterances, limiting state-tracking accuracy. We introduce IRWOZ 2.0, which addresses these limitations through large language model (LLM) enhanced generation (Mistral/Claude-3.5) and quality refinements. Our improved dataset expands to 390 dialogues across 4 industrial domains (Assembly, Delivery, Position, Relocation), featuring manual corrections and automated typo removal. Benchmark experiments on dialogue state tracking demonstrate significant improvements, with GPT-2's BLEU-4 score increasing from 0.1651 to 0.5604 compared to original IRWOZ. To support industrial HRI research, we publicly released IRWOZ 2.0 dataset at https://ieee-dataport.org/documents/irwoz-20-large-language-model-driven-dialogue-dataset-industrial-robot-conversations