When the Database Fails: Prompting LLM Dialogue Agents for Safe Recovery in Task-Oriented Dialogue

📄 arXiv: 2606.31307v1 📥 PDF

作者: Mohammad Alijanpour Shalmani, Alale Rezvani Boroujeni, Jiann Shiun Yuan

分类: cs.CL

发布日期: 2026-06-30

备注: Accepted at SIGDIAL 2026

💡 一句话要点

提出轻量级提示方法以解决任务导向对话中的数据库失败问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 任务导向对话 大型语言模型 数据库失败 提示方法 鲁棒性提升 幻觉响应 智能客服

📋 核心要点

  1. 现有的任务导向对话系统在数据库调用失败时，常常产生不安全的幻觉响应，影响用户体验。
  2. 本文提出了一种轻量级的提示恢复方法，通过引导恢复提示来改善模型在数据库失败情况下的响应质量。
  3. 实验结果显示，使用引导重试策略后，模型的幻觉率在多个数据集上显著降低，验证了该方法的有效性。

📝 摘要（中文）

在任务导向对话中，使用的大型语言模型在后端数据库调用失败、返回空结果或信息不匹配时，常常生成流畅但不安全的响应。本文研究了一种基于提示的轻量级恢复方法，旨在提高模型的鲁棒性，而无需重新训练或额外的模型调用。我们比较了三种响应策略，包括基于结构化数据库状态的引导恢复提示，针对六个开放权重模型家族和四种数据库条件进行评估。实验结果表明，使用引导重试策略可以显著减少模型的幻觉现象，尽管仍存在一定程度的残余幻觉。

🔬 方法详解

问题定义：本文旨在解决任务导向对话系统在后端数据库调用失败时生成不安全响应的问题。现有方法在面对空结果、错误域检索等情况时，容易产生幻觉响应，影响对话的可靠性。

核心思路：论文提出了一种基于提示的恢复策略，通过引导模型根据数据库状态生成更安全的响应，避免了重新训练模型的复杂性。

技术框架：整体架构包括三个主要模块：输入处理模块、提示生成模块和响应生成模块。输入处理模块负责接收用户请求并查询数据库，提示生成模块根据数据库状态生成引导提示，响应生成模块则基于提示生成最终的对话响应。

关键创新：最重要的创新点在于引入了基于数据库状态的引导恢复提示，这一设计使得模型能够更好地应对数据库调用失败的情况，与传统方法相比显著提高了响应的安全性和准确性。

关键设计：在实验中，采用了多种数据库状态作为输入条件，并设计了相应的提示策略。损失函数和模型结构保持不变，重点在于如何通过提示引导模型生成更合适的响应。实验中使用了多种开放权重模型进行对比，确保了结果的广泛适用性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，使用引导重试策略后，MultiWOZ数据集上的幻觉率从30.5%降低至15.3%，SGD数据集上的幻觉率从20.9%降低至12.2%。这一显著的提升验证了该方法的有效性，尽管仍存在一定的残余幻觉现象。

🎯 应用场景

该研究的潜在应用领域包括智能客服、在线预订系统和虚拟助手等任务导向对话系统。通过提高对话系统在数据库失败情况下的鲁棒性，可以显著提升用户体验和系统的可靠性，具有重要的实际价值和应用前景。

📄 摘要（原文）

Large language models used in task-oriented dialogue often produce fluent but unsafe responses when backend database calls fail, return empty results, or surface mismatched information, inventing venues, confirmations, or booking details not grounded in the database. We study a lightweight prompting-based recovery approach that improves robustness without retraining or additional model calls. We compare three response strategies, including a guided recovery prompt conditioned on structured database status, across six open-weight model families (DeepSeek-R1, Gemma-2, Llama-3, Mistral, Phi-3, and Qwen-2.5) and four database conditions: empty result, wrong-domain retrieval, API error, and clean retrieval. Using fault-injected benchmarks built on two structurally different datasets, MultiWOZ 2.2 (5 domains) and SGD (20 domains), we find that naive agents hallucinate on 30.5% of failure turns on MultiWOZ and 20.9% on SGD. Our Guided-Retry strategy reduces hallucination by 50% on MultiWOZ (30.5 to 15.3%) and by 42% on SGD (20.9 to 12.2%) without retraining. However, residual hallucination remains substantial (6-37% across models), with wrong-domain failures the hardest case. Results are consistent across both datasets and all six model families, and human annotation shows substantial agreement while supporting the validity of the automatic commitment-safety metric.