WebCiteS: Attributed Query-Focused Summarization on Chinese Web Search Results with Citations

📄 arXiv: 2403.01774v2 📥 PDF

作者: Haolin Deng, Chang Wang, Xin Li, Dezhang Yuan, Junlang Zhan, Tianhua Zhou, Jin Ma, Jun Gao, Ruifeng Xu

分类: cs.CL

发布日期: 2024-03-04 (更新: 2024-05-29)

备注: 20 pages, 7 figures, accepted to ACL 2024 main conference

💡 一句话要点

提出WebCiteS以解决中文网页搜索结果的引用聚焦摘要问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 引用能力 查询聚焦摘要 数据集构建 模型评估 多来源验证

📋 核心要点

  1. 现有方法在引用能力和评估准确性方面存在显著不足，尤其是在处理多来源支持的句子时。
  2. 本文提出了WebCiteS数据集和AQFS任务，通过引入细化的评估指标来提升引用的准确性和可验证性。
  3. 实验结果表明，当前的LLMs在引用准确性上仍存在挑战，强调了改进的必要性和未来研究的方向。

📝 摘要（中文）

增强大型语言模型（LLMs）的引用能力是一个重要任务。现有的数据集和评估方法存在显著局限性。本文提出了归属查询聚焦摘要（AQFS）任务，并介绍了WebCiteS，一个包含7000个带引用的人类标注摘要的中文数据集。WebCiteS源于真实用户查询和网页搜索结果，为模型训练和评估提供了宝贵资源。以往的引用评估工作未能区分基础错误和引用错误，且在自动验证部分支持来自多个来源的句子方面存在不足。我们通过开发详细的评估指标，构建自动评估器以细化验证句子中的子主张，解决了这些问题。对开源和专有模型在WebCiteS上的综合评估显示，LLMs在正确引用来源方面面临挑战，强调了进一步改进的必要性。数据集和代码将开源，以促进该领域的进一步研究。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在生成文本时引用外部来源的能力不足，现有方法未能有效区分基础错误和引用错误，且在多来源支持的句子验证上存在局限性。

核心思路：通过构建WebCiteS数据集，提供真实用户查询和网页搜索结果的带引用摘要，进而提出AQFS任务，利用细化的评估指标提升模型的引用准确性。

技术框架：整体架构包括数据集构建、模型训练和评估三个主要模块。数据集通过人类标注生成，模型训练基于现有的LLMs，评估则采用新开发的细化指标。

关键创新：最重要的技术创新在于提出了细化的评估指标和自动评估器，能够将句子分解为子主张进行更精确的验证，这在现有方法中尚未实现。

关键设计：在模型训练中，采用了特定的损失函数来优化引用的准确性，并设计了适应性强的网络结构以支持多来源信息的整合与验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，当前的LLMs在WebCiteS数据集上的引用准确率仍有待提高，尤其是在多来源支持的句子中，显示出相较于基线模型的显著挑战和改进空间。

🎯 应用场景

该研究的潜在应用领域包括信息检索、智能问答系统和内容生成等。通过提升模型的引用能力，可以增强生成内容的可信度和准确性，进而在学术研究、新闻报道和在线教育等领域产生深远影响。

📄 摘要（原文）

Enhancing the attribution in large language models (LLMs) is a crucial task. One feasible approach is to enable LLMs to cite external sources that support their generations. However, existing datasets and evaluation methods in this domain still exhibit notable limitations. In this work, we formulate the task of attributed query-focused summarization (AQFS) and present WebCiteS, a Chinese dataset featuring 7k human-annotated summaries with citations. WebCiteS derives from real-world user queries and web search results, offering a valuable resource for model training and evaluation. Prior works in attribution evaluation do not differentiate between groundedness errors and citation errors. They also fall short in automatically verifying sentences that draw partial support from multiple sources. We tackle these issues by developing detailed metrics and enabling the automatic evaluator to decompose the sentences into sub-claims for fine-grained verification. Our comprehensive evaluation of both open-source and proprietary models on WebCiteS highlights the challenge LLMs face in correctly citing sources, underscoring the necessity for further improvement. The dataset and code will be open-sourced to facilitate further research in this crucial field.