Improving Attributed Text Generation of Large Language Models via Preference Learning

📄 arXiv: 2403.18381v1 📥 PDF

作者: Dongfang Li, Zetian Sun, Baotian Hu, Zhenyu Liu, Xinshuo Hu, Xuebo Liu, Min Zhang

分类: cs.CL, cs.AI

发布日期: 2024-03-27

备注: 23 pages, 15 tables, 2 figures

💡 一句话要点

通过偏好学习提升大语言模型的属性文本生成能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 偏好学习 引用机制 大语言模型 文本生成 自动化优化

📋 核心要点

  1. 现有的引用方法主要集中在检索和评估阶段，未能有效模拟人类学术写作中的引用机制，导致生成内容的可靠性不足。
  2. 本文提出将引用任务建模为偏好学习，并引入自动偏好优化框架，以更好地模拟人类引用过程，提升生成内容的可信度。
  3. 在三个数据集上的实验结果显示，APO框架在引用F1分数上达到了最先进水平，并显著提高了生成答案的质量。

📝 摘要（中文）

大语言模型在自然语言处理领域得到了广泛应用，但在生成可靠内容方面面临挑战。近期研究通过引用机制来减少错误信息和幻觉现象。然而，现有的引用方法主要集中在检索阶段和自动评估，未能有效模拟人类学术写作中的引用机制。本文将引用任务建模为偏好学习，并提出了自动偏好优化（APO）框架。我们创建了一个包含6,330个示例的精心策划的集合用于后训练，并提出了一种自动合成偏好数据的方法，生成了95,263对偏好数据。通过借鉴人类引用过程，我们进一步提出了渐进式偏好优化方法。实验结果表明，APO在三个数据集上实现了最先进的引用F1分数，并提高了答案质量。

🔬 方法详解

问题定义：本文旨在解决大语言模型在生成文本时的可靠性问题，尤其是如何有效地进行引用以增强内容的可信度。现有方法在引用机制的模拟上存在不足，导致生成的内容常常不可靠。

核心思路：论文的核心思路是将引用任务视为偏好学习，通过引入自动偏好优化框架，模拟人类在学术写作中的引用过程，从而提升生成文本的可信度和质量。

技术框架：整体架构包括数据收集与过滤、偏好数据合成、以及渐进式偏好优化三个主要模块。首先，创建一个包含6,330个示例的训练集；其次，采用自动化方法合成95,263对偏好数据；最后，通过细粒度信息进行渐进式优化。

关键创新：最重要的技术创新在于将引用任务建模为偏好学习，并提出了自动偏好优化框架，区别于传统方法的检索和评估，强调了引用过程的模拟。

关键设计：在参数设置上，采用了适应性损失函数以优化偏好学习过程，并设计了细粒度信息提取模块，以增强引用的准确性和相关性。

📊 实验亮点

实验结果表明，APO框架在ASQA、StrategyQA和ELI5三个数据集上实现了最先进的引用F1分数，具体提升幅度达到了显著的水平，且生成答案的质量也得到了显著改善。

🎯 应用场景

该研究的潜在应用领域包括学术写作辅助工具、信息检索系统以及任何需要生成高质量、可靠文本的自然语言处理应用。通过提升生成文本的可信度，能够在教育、科研等多个领域产生深远影响。

📄 摘要（原文）

Large language models have been widely adopted in natural language processing, yet they face the challenge of generating unreliable content. Recent works aim to reduce misinformation and hallucinations by resorting to attribution as a means to provide evidence (i.e., citations). However, current attribution methods usually focus on the retrieval stage and automatic evaluation that neglect mirroring the citation mechanisms in human scholarly writing to bolster credibility. In this paper, we address these challenges by modelling the attribution task as preference learning and introducing an Automatic Preference Optimization (APO) framework. First, we create a curated collection for post-training with 6,330 examples by collecting and filtering from existing datasets. Second, considering the high cost of labelling preference data, we further propose an automatic method to synthesize attribution preference data resulting in 95,263 pairs. Moreover, inspired by the human citation process, we further propose a progressive preference optimization method by leveraging fine-grained information. Extensive experiments on three datasets (i.e., ASQA, StrategyQA, and ELI5) demonstrate that APO achieves state-of-the-art citation F1 with higher answer quality.