KIWI: A Dataset of Knowledge-Intensive Writing Instructions for Answering Research Questions

📄 arXiv: 2403.03866v1 📥 PDF

作者: Fangyuan Xu, Kyle Lo, Luca Soldaini, Bailey Kuehl, Eunsol Choi, David Wadden

分类: cs.CL

发布日期: 2024-03-06

💡 一句话要点

构建KIWI数据集以提升LLM在知识密集写作中的指令遵循能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识密集写作 大型语言模型 指令遵循 数据集构建 科学写作 人类评估

📋 核心要点

  1. 当前大型语言模型在知识密集写作任务中存在整合新信息和精确编辑的困难。
  2. 本文提出KIWI数据集，通过专家注释者的迭代指令来改进模型生成的答案。
  3. 实验结果显示，模型在遵循用户指令的准确性上显著低于人类评估，提供了改进的方向。

📝 摘要（中文）

大型语言模型（LLMs）在遵循用户指令方面的应用日益广泛，尤其是在提供写作辅助方面。本文构建了KIWI数据集，专注于科学领域的知识密集写作指令。通过234个交互会话收集1260个交互回合，分析发现当前模型在整合新信息和进行精确编辑方面存在困难，且在判断输出是否符合用户指令时准确率低于人类评估至少10个百分点。KIWI数据集将为评估和提升LLMs在知识密集写作任务中的指令遵循能力提供重要资源。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在知识密集写作任务中无法有效整合新信息和进行精确编辑的问题。现有方法在处理用户指令时表现不佳，导致生成的答案质量不高。

核心思路：通过构建KIWI数据集，利用专家注释者的迭代指令来指导模型改进其生成的答案，从而提升模型的指令遵循能力。这样的设计能够更好地模拟真实的写作辅助场景。

技术框架：KIWI数据集的构建包括三个主要模块：首先，生成初始答案；其次，专家注释者根据相关文献和用户需求发出指令；最后，模型根据指令进行答案的修订和改进。

关键创新：KIWI数据集的创新之处在于其系统性地收集了专家指导下的模型交互数据，填补了现有数据集在知识密集写作任务中的空白，提供了更具挑战性的评估标准。

关键设计：在数据收集过程中，设置了多轮交互，每轮包括用户指令、模型响应和人类评估，确保数据的多样性和代表性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所有模型在整合新信息和进行精确编辑方面表现不佳，且在判断输出是否符合用户指令的准确率上至少低于人类评估10个百分点。这一发现强调了KIWI数据集在提升LLMs指令遵循能力方面的重要性。

🎯 应用场景

KIWI数据集的构建为大型语言模型在科学写作、学术研究和教育等领域的应用提供了重要支持。通过提升模型的指令遵循能力，未来可以更好地辅助研究人员和学生进行高质量的写作，推动知识传播和创新。该研究的成果也可能影响其他领域的自然语言处理任务。

📄 摘要（原文）

Large language models (LLMs) adapted to follow user instructions are now widely deployed as conversational agents. In this work, we examine one increasingly common instruction-following task: providing writing assistance to compose a long-form answer. To evaluate the capabilities of current LLMs on this task, we construct KIWI, a dataset of knowledge-intensive writing instructions in the scientific domain. Given a research question, an initial model-generated answer and a set of relevant papers, an expert annotator iteratively issues instructions for the model to revise and improve its answer. We collect 1,260 interaction turns from 234 interaction sessions with three state-of-the-art LLMs. Each turn includes a user instruction, a model response, and a human evaluation of the model response. Through a detailed analysis of the collected responses, we find that all models struggle to incorporate new information into an existing answer, and to perform precise and unambiguous edits. Further, we find that models struggle to judge whether their outputs successfully followed user instructions, with accuracy at least 10 points short of human agreement. Our findings indicate that KIWI will be a valuable resource to measure progress and improve LLMs' instruction-following capabilities for knowledge intensive writing tasks.