PARADISE: Evaluating Implicit Planning Skills of Language Models with Procedural Warnings and Tips Dataset
作者: Arda Uzunoglu, Abdalfatah Rashid Safa, Gözde Gül Şahin
分类: cs.CL
发布日期: 2024-03-05 (更新: 2024-06-06)
备注: 9 pages, ACL 2024 Findings
🔗 代码/项目: GITHUB
💡 一句话要点
提出PARADISE以评估语言模型的隐式规划能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 隐式推理 程序文本 问答任务 模型评估 微调 零-shot学习
📋 核心要点
- 现有研究主要关注简化场景中的高层次计划，缺乏对语言复杂性和领域多样性的考虑，限制了评估方法和模型架构的多样性。
- PARADISE通过使用来自wikiHow的程序文本，设计了一个问答格式的推理任务，专注于目标相关的警告和提示推断，测试模型的隐式知识推断能力。
- 实验结果显示，任务特定的小模型在大多数情况下优于大型语言模型，但所有模型的表现仍低于人类水平，揭示了模型在不同目标上的行为差异。
📝 摘要（中文）
近年来，社区对大型语言模型是否具备规划或执行计划的能力产生了浓厚的兴趣。然而，之前的研究多集中于生成简化场景中的高层次计划，缺乏语言复杂性和领域多样性，限制了对其规划能力的分析。为此，本文提出了PARADISE，一个基于wikiHow的实用程序文本的推理任务，旨在测试模型从给定目标推断隐式知识的能力。实验结果表明，任务特定的小模型在大多数场景中优于大型语言模型，尽管所有模型的表现仍未达到人类水平。我们的分析揭示了模型行为的有趣变化及其在物理和抽象目标上的挑战，PARADISE数据集及相关资源已公开供进一步研究探索。
🔬 方法详解
问题定义：本文旨在解决现有方法在评估语言模型规划能力时的局限性，尤其是缺乏语言复杂性和领域多样性的问题。
核心思路：PARADISE通过设计一个基于问答格式的推理任务，聚焦于从给定目标推断隐式知识，避免了中间步骤的干扰，增强了评估的真实性。
技术框架：整体架构包括数据收集、任务设计和模型评估三个主要模块。数据收集阶段从wikiHow获取程序文本，任务设计阶段构建警告和提示推断任务，模型评估阶段使用微调和零-shot提示进行实验。
关键创新：PARADISE的主要创新在于其任务设计，专注于隐式知识的推断，而非传统的显式计划生成，提供了更真实的评估环境。
关键设计：在实验中，采用了微调的语言模型和零-shot提示，特别关注模型对关键词的敏感性和在物理与抽象目标上的表现差异。
🖼️ 关键图片
📊 实验亮点
实验结果表明，任务特定的小模型在大多数场景中表现优于大型语言模型，尽管所有模型的表现仍低于人类水平。这一发现强调了模型在处理隐式知识推断时的局限性，并揭示了不同模型在处理关键词时的行为差异。
🎯 应用场景
该研究的潜在应用领域包括教育、自动化助手和人机交互等，能够帮助开发更智能的语言模型，提升其在复杂任务中的表现。未来，PARADISE数据集可为其他程序性任务的研究提供重要的基准和参考。
📄 摘要（原文）
Recently, there has been growing interest within the community regarding whether large language models are capable of planning or executing plans. However, most prior studies use LLMs to generate high-level plans for simplified scenarios lacking linguistic complexity and domain diversity, limiting analysis of their planning abilities. These setups constrain evaluation methods (e.g., predefined action space), architectural choices (e.g., only generative models), and overlook the linguistic nuances essential for realistic analysis. To tackle this, we present PARADISE, an abductive reasoning task using Q\&A format on practical procedural text sourced from wikiHow. It involves warning and tip inference tasks directly associated with goals, excluding intermediary steps, with the aim of testing the ability of the models to infer implicit knowledge of the plan solely from the given goal. Our experiments, utilizing fine-tuned language models and zero-shot prompting, reveal the effectiveness of task-specific small models over large language models in most scenarios. Despite advancements, all models fall short of human performance. Notably, our analysis uncovers intriguing insights, such as variations in model behavior with dropped keywords, struggles of BERT-family and GPT-4 with physical and abstract goals, and the proposed tasks offering valuable prior knowledge for other unseen procedural tasks. The PARADISE dataset and associated resources are publicly available for further research exploration with https://github.com/GGLAB-KU/paradise.