PredAct-Bench: Benchmarking Tool-Augmented Dialogue under Controlled Tool Noise

📄 arXiv: 2608.02372v1 📥 PDF

作者: Abdulrahman AlRabah, Xiaocheng Yang, Dilek Hakkani-Tür, Abdussalam Alawini

分类: cs.CL

发布日期: 2026-08-03

💡 一句话要点

提出PREDACTBENCH以解决工具噪声下的对话系统评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话系统 工具噪声 信任校准 教育应用 AI辅助决策 大型语言模型 基准测试

📋 核心要点

  1. 现有基准测试假设工具输出完全准确，未考虑实际应用中工具噪声和人类决策者信任度不确定的问题。
  2. 提出PREDACTBENCH基准，评估与不完美工具配对的对话代理，重点在教育领域的AI辅助决策。
  3. 实验结果表明，当前最先进的模型在工具噪声情况下未能有效支持教师决策，存在过度依赖错误建议的风险。

📝 摘要（中文）

随着大型语言模型（LLMs）在教育、医疗和金融等高风险领域的任务导向对话系统中的应用日益增多，现有基准测试通常假设工具输出完全准确，忽视了实际应用中工具噪声和人类决策者信任度不确定的现实。为此，本文提出了PREDACTBENCH，一个用于评估与统计不完美工具配对的对话代理的基准，选取教育作为可测量的测试平台。我们构建了一个AI辅助人类决策的基准，使用噪声预测器帮助用户。我们还引入了相对AI依赖（RAIR）和相对自我依赖（RSR）指标，扩展了先前的信任校准框架。通过对13个最先进的LLMs进行评估，发现当前模型在工具噪声情况下未能有效提供教师所需的可见性。

🔬 方法详解

问题定义：本文旨在解决现有对话系统评估中忽视工具噪声的问题，现有方法未能考虑工具输出的不准确性对决策的影响。

核心思路：通过构建PREDACTBENCH基准，评估AI在噪声环境下的决策支持能力，帮助用户在不确定的情况下做出更好的决策。

技术框架：整体架构包括数据集构建、AI辅助决策模型设计和评估指标的引入，主要模块包括教育数据集的选择、噪声预测器的应用和信任度评估。

关键创新：引入相对AI依赖（RAIR）和相对自我依赖（RSR）指标，扩展了信任校准框架，使其适用于多轮对话场景，提供了新的评估视角。

关键设计：在模型评估中使用OULAD和PREDACT-CS数据集，设置了不同的噪声水平，采用了适应性损失函数以优化模型在不确定环境下的表现。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，在工具噪声情况下，当前最先进的模型未能有效提供教师所需的可见性，导致教师对错误建议的过度依赖。具体而言，模型在OULAD和PREDACT-CS数据集上的表现未达到预期，显示出改进的必要性。

🎯 应用场景

该研究的潜在应用领域包括教育、医疗和金融等高风险决策场景，能够为教师和决策者提供更可靠的AI辅助工具，提升决策质量和效率。未来，PREDACTBENCH有望推动更智能的对话系统开发，增强人机协作的信任度。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly deployed in task-oriented dialogue systems that support multi-step decision-making in high-stakes domains such as education, healthcare, and finance. However, existing benchmarks typically assume perfectly accurate tool outputs, overlooking the reality that deployed systems must operate with noisy tools and human decision-makers whose trust in the agent is itself uncertain. Such conditions are common in practice, for example, a clinician using a diagnostic prediction tool or an advisor relying on a model that forecasts student outcomes from historical records. We introduce PREDACTBENCH, a benchmark for evaluating dialogue agents paired with statistically imperfect tools, using education as a measurable testbed where ground truth outcomes and clear intervention decisions are available. First, we build a benchmark for AI-assisted human decision-making, where the AI uses noisy predictors to help guide a user. Second, we introduce episode-level Relative AI-Reliance (RAIR) and Relative self-reliance (RSR) metrics, extending prior trust calibration framework to multi-turn dialogue. Third, we evaluate 13 state-of-the-art closed and open source LLMs on two educational datasets, OULAD (real assessment trajectories from the UK Open University) and PREDACT-CS (60 courses with real final grade outcomes and synthetically generated weekly score trajectories), alongside a human study with instructors and teaching assistants. We find that when tools are noisy, SOTA models are supposed to provide visibility to teachers so that they do not over-rely on wrong suggestions or hallucinations, but current models fail to do that. We offer PREDACTBENCH to help build better LLMs as AI decision support systems to help teachers.