Self-seeding and Multi-intent Self-instructing LLMs for Generating Intent-aware Information-Seeking dialogs

📄 arXiv: 2402.11633v2 📥 PDF

作者: Arian Askari, Roxana Petcu, Chuan Meng, Mohammad Aliannejadi, Amin Abolghasemi, Evangelos Kanoulas, Suzan Verberne

分类: cs.CL

发布日期: 2024-02-18 (更新: 2025-02-07)

备注: Accepted at NAACL 2025

💡 一句话要点

提出SOLID和SOLID-RL以生成意图感知的信息检索对话

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 意图预测 对话生成 大型语言模型 自指令机制 零样本学习 信息检索 人工智能

📋 核心要点

  1. 现有的意图预测方法依赖大量人工标注的对话数据，标注过程耗时且资源密集。
  2. 本文提出的SOLID利用自种子和多意图自指令机制，自动生成意图感知对话，减少人工干预。
  3. 实验结果显示，基于SOLID和SOLID-RL生成的对话训练的意图预测模型，性能显著优于传统方法。

📝 摘要（中文）

在信息检索对话中，识别用户意图至关重要，但现有方法依赖于人工标注意图，资源消耗大。本文提出SOLID，通过自种子和多意图自指令机制，利用大型语言模型（LLMs）进行零样本生成意图感知对话。SOLID-RL进一步训练生成对话，采用基于长度的质量评估机制，生成超过30万条对话，超越现有数据集。实验表明，基于SOLID和SOLID-RL生成的对话训练的意图预测方法，性能优于基于人工生成对话的模型。

🔬 方法详解

问题定义：本论文旨在解决信息检索对话中用户意图识别的挑战，现有方法依赖于大量人工标注数据，导致资源消耗高且效率低下。

核心思路：论文提出SOLID，通过自种子和多意图自指令机制，利用大型语言模型（LLMs）进行零样本生成意图感知对话，旨在提高生成质量并减少人工干预。

技术框架：整体架构包括两个主要模块：SOLID用于生成意图感知对话，SOLID-RL用于在生成的对话基础上进行进一步训练。SOLID通过自种子机制启动对话生成，而SOLID-RL则通过长度基的质量评估机制优化生成过程。

关键创新：最重要的技术创新在于自种子和多意图自指令机制的结合，允许LLM在生成复杂多意图的发言时自动调整提示指令，与传统的手动提示设计方法形成鲜明对比。

关键设计：在训练过程中，SOLID-RL采用长度基的质量评估机制，为生成的对话分配不同的权重，从而优化训练效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于SOLID和SOLID-RL生成的对话训练的意图预测模型，其性能优于基于人工生成对话的模型，具体提升幅度达到XX%（具体数据未知），显示出该方法在意图识别任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能客服、虚拟助手和教育领域等，能够有效提升系统对用户意图的理解和响应能力，进而改善用户体验。未来，该方法可能推动对话系统的自动化和智能化发展，降低人工成本。

📄 摘要（原文）

Identifying user intents in information-seeking dialogs is crucial for a system to meet user's information needs. Intent prediction (IP) is challenging and demands sufficient dialogs with human-labeled intents for training. However, manually annotating intents is resource-intensive. While large language models (LLMs) have been shown to be effective in generating synthetic data, there is no study on using LLMs to generate intent-aware information-seeking dialogs. In this paper, we focus on leveraging LLMs for zero-shot generation of large-scale, open-domain, and intent-aware information-seeking dialogs. We propose SOLID, which has novel self-seeding and multi-intent self-instructing schemes. The former improves the generation quality by using the LLM's own knowledge scope to initiate dialog generation; the latter prompts the LLM to generate utterances sequentially, and mitigates the need for manual prompt design by asking the LLM to autonomously adapt its prompt instruction when generating complex multi-intent utterances. Furthermore, we propose SOLID-RL, which is further trained to generate a dialog in one step on the data generated by SOLID. We propose a length-based quality estimation mechanism to assign varying weights to SOLID-generated dialogs based on their quality during the training process of SOLID-RL. We use SOLID and SOLID-RL to generate more than 300k intent-aware dialogs, surpassing the size of existing datasets. Experiments show that IP methods trained on dialogs generated by SOLID and SOLID-RL achieve better IP quality than ones trained on human-generated dialogs.