Data-Efficient Alignment of Large Language Models with Human Feedback Through Natural Language

📄 arXiv: 2311.14543v1 📥 PDF

作者: Di Jin, Shikib Mehri, Devamanyu Hazarika, Aishwarya Padmakumar, Sungjin Lee, Yang Liu, Mahdi Namazifar

分类: cs.CL, cs.AI

发布日期: 2023-11-24

备注: Accepted by Workshop on Instruction Tuning and Instruction Following at NeurIPS 2023, Submitted to AAAI 2024

💡 一句话要点

通过自然语言反馈实现大语言模型的数据高效对齐

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人类反馈 自然语言处理 模型微调 强化学习 大语言模型 数据效率 响应质量

📋 核心要点

  1. 现有的强化学习从人类反馈方法在处理人类反馈的多样性和丰富性方面存在不足，限制了模型的对齐效果。
  2. 本文提出了一种利用自然语言反馈进行大语言模型微调的方法，通过对少量反馈进行有效学习，提升模型输出质量。
  3. 实验结果表明，经过自然语言反馈微调后，模型在响应质量上显著优于原始输出，胜率从56.6%提升至65.9%。

📝 摘要（中文）

学习人类反馈是一种重要技术，用于将大型语言模型（LLMs）的输出与人类期望对齐。强化学习从人类反馈（RLHF）利用人类偏好信号进行对齐，但人类对LLM输出的偏好可以以更丰富的形式出现，包括自然语言反馈。本文探讨了如何高效地利用自然语言反馈进行模型微调，展示了在仅使用1000条或更少的自然语言反馈记录的情况下，如何提升模型的响应质量，甚至超过一些强大的LLM，如ChatGPT、BARD和Vicuna。通过对ChatGPT响应进行一次修订，修订后的响应在质量上有56.6%的胜率，经过五次修订后，胜率进一步提升至65.9%。

🔬 方法详解

问题定义：本文旨在解决现有RLHF方法在处理人类反馈多样性方面的不足，尤其是如何有效利用自然语言反馈来提升大型语言模型的输出质量。现有方法主要依赖于响应对的排名，难以充分挖掘人类反馈的细节和深度。

核心思路：论文的核心思路是通过微调开放源代码的大型语言模型（如Falcon-40B-Instruct），利用少量的自然语言反馈（如批评和修订）来提升模型的响应质量。这种方法能够更全面地捕捉人类的反馈信息。

技术框架：整体架构包括数据收集、模型微调和性能评估三个主要阶段。首先收集自然语言反馈数据，然后对模型进行微调，最后通过与原始模型的对比评估修订后的响应质量。

关键创新：最重要的技术创新在于将自然语言反馈引入到模型微调过程中，突破了传统RLHF方法的限制，使得模型能够从更丰富的反馈中学习。与现有方法相比，这种方法在数据效率和反馈利用上具有显著优势。

关键设计：在微调过程中，采用了特定的损失函数来优化模型对自然语言反馈的响应，同时设置了适当的超参数以确保模型在有限数据下的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过自然语言反馈微调后，模型的响应质量显著提升。修订后的ChatGPT响应在质量上有56.6%的胜率，经过五次修订后，胜率进一步提升至65.9%，显示出该方法的有效性和潜力。

🎯 应用场景

该研究的潜在应用领域包括智能客服、教育辅导、内容生成等多个场景。通过更好地对齐模型输出与人类期望，可以提升用户体验和满意度，具有重要的实际价值和未来影响。

📄 摘要（原文）

Learning from human feedback is a prominent technique to align the output of large language models (LLMs) with human expectations. Reinforcement learning from human feedback (RLHF) leverages human preference signals that are in the form of ranking of response pairs to perform this alignment. However, human preference on LLM outputs can come in much richer forms including natural language, which may provide detailed feedback on strengths and weaknesses of a given response. In this work we investigate data efficiency of modeling human feedback that is in natural language. Specifically, we fine-tune an open-source LLM, e.g., Falcon-40B-Instruct, on a relatively small amount (1000 records or even less) of human feedback in natural language in the form of critiques and revisions of responses. We show that this model is able to improve the quality of responses from even some of the strongest LLMs such as ChatGPT, BARD, and Vicuna, through critique and revision of those responses. For instance, through one iteration of revision of ChatGPT responses, the revised responses have 56.6% win rate over the original ones, and this win rate can be further improved to 65.9% after applying the revision for five iterations.