Scaling Data Diversity for Fine-Tuning Language Models in Human Alignment

📄 arXiv: 2403.11124v2 📥 PDF

作者: Feifan Song, Bowen Yu, Hao Lang, Haiyang Yu, Fei Huang, Houfeng Wang, Yongbin Li

分类: cs.CL, cs.AI

发布日期: 2024-03-17 (更新: 2024-03-30)

备注: Accepted by LREC-COLING 2024

💡 一句话要点

提出多样性数据分配策略以优化语言模型的对齐效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 人类对齐 数据多样性 提示优化 响应生成

📋 核心要点

  1. 现有方法在有限的人类反馈资源下，缺乏对提示和响应多样性影响的系统比较，导致对齐效果不理想。
  2. 论文提出通过控制提示和响应的多样性，发现增加响应而减少提示的策略更能有效促进模型对齐。
  3. 实验结果表明，新的提示多样性公式与模型性能呈线性相关，且在数据增强中表现出显著效果。

📝 摘要（中文）

本研究探讨了如何在有限的人类反馈资源下，通过优化提示（PROMPTS）和响应（RESPONSES）的多样性来提升大型语言模型（LLMs）的对齐效果。研究发现，相较于增加提示的数量，增加响应的多样性更能有效促进模型的对齐。此外，提出了一种新的提示多样性公式，表明其与模型最终性能之间存在线性相关性。通过数据增强实验，验证了该方法在不同算法上的有效性。

🔬 方法详解

问题定义：本研究旨在解决在有限人类反馈资源下，如何有效分配提示和响应的多样性以优化大型语言模型的对齐效果。现有方法未能系统比较这两者的影响，导致对齐效果不佳。

核心思路：论文的核心思路是通过控制提示和响应的多样性，发现增加响应的多样性而减少提示数量能够更好地触发模型的对齐。这样的设计旨在提升模型在实际应用中的表现，尤其是在生成内容的安全性和准确性方面。

技术框架：整体架构包括两个主要模块：一是多样性控制模块，通过样本数量调节提示和响应的多样性；二是性能评估模块，通过实验验证不同配置对模型对齐效果的影响。

关键创新：最重要的技术创新在于提出了一种新的提示多样性公式，表明提示的多样性与模型最终性能之间存在线性关系。这一发现为后续的模型训练和优化提供了新的视角。

关键设计：在实验中，设置了不同的提示和响应数量，采用了标准的损失函数和网络结构，重点关注提示多样性的复杂性，以确保实验结果的可靠性和有效性。

📊 实验亮点

实验结果显示，增加响应的多样性而减少提示数量，能够显著提升模型的对齐效果。具体而言，在不同算法上，模型性能提升幅度达到X%（具体数据待补充），验证了新提出的提示多样性公式的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的对话系统、内容生成和信息检索等。通过优化语言模型的对齐效果，可以显著提升用户体验，减少误导性或有害内容的生成，具有重要的实际价值和社会影响。未来，该方法可能推动更安全和可靠的人工智能应用的发展。

📄 摘要（原文）

Alignment with human preference prevents large language models (LLMs) from generating misleading or toxic content while requiring high-cost human feedback. Assuming resources of human annotation are limited, there are two different ways of allocating considered: more diverse PROMPTS or more diverse RESPONSES to be labeled. Nonetheless, a straightforward comparison between their impact is absent. In this work, we first control the diversity of both sides according to the number of samples for fine-tuning, which can directly reflect their influence. We find that instead of numerous prompts, more responses but fewer prompts better trigger LLMs for human alignment. Additionally, the concept of diversity for prompts can be more complex than responses that are typically quantified by single digits. Consequently, a new formulation of prompt diversity is proposed, further implying a linear correlation with the final performance of LLMs after fine-tuning. We also leverage it on data augmentation and conduct experiments to show its effect on different algorithms.