Camels in a Changing Climate: Enhancing LM Adaptation with Tulu 2

📄 arXiv: 2311.10702v2 📥 PDF

作者: Hamish Ivison, Yizhong Wang, Valentina Pyatkin, Nathan Lambert, Matthew Peters, Pradeep Dasigi, Joel Jang, David Wadden, Noah A. Smith, Iz Beltagy, Hannaneh Hajishirzi

分类: cs.CL

发布日期: 2023-11-17 (更新: 2023-11-20)

备注: technical report; fixed zephyr numbers

💡 一句话要点

提出TÜLU 2以提升预训练语言模型的适应性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 预训练模型 指令调优 直接偏好优化 自然语言处理 代码生成

📋 核心要点

  1. 现有的预训练语言模型在适应特定下游任务和用户偏好时存在性能不足的问题。
  2. 论文提出通过整合多项最新技术，推出TÜLU 2模型套件，以提升模型的适应性和性能。
  3. 实验结果表明，TÜLU 2在多个基准测试中表现优异，超越了现有的开源模型，尤其是GPT-3.5-turbo-0301。

📝 摘要（中文）

自TÜLU发布以来，指令调优的开放资源迅速发展，从更好的基础模型到新的微调技术。我们测试并整合了多项进展，推出了TÜLU 2，这是一个改进的TÜLU模型套件，旨在推进对预训练语言模型适应下游任务和用户偏好的理解与最佳实践。具体而言，我们发布了：1) TÜLU-V2-mix，改进的高质量指令数据集；2) TÜLU 2，基于V2混合微调的LLAMA-2模型；3) TÜLU 2+DPO，采用直接偏好优化（DPO）训练的TÜLU 2模型，包括迄今为止最大的DPO训练模型（TÜLU 2+DPO 70B）；4) CODE TÜLU 2，基于我们的V2混合微调的CODE LLAMA模型，超越了CODE LLAMA及其指令调优变体。我们的多角度评估显示，TÜLU 2套件在开放模型中实现了最先进的性能，并在多个基准上与GPT-3.5-turbo-0301的表现相当或更优。我们发布了所有检查点、数据、训练和评估代码，以促进未来在适应大型语言模型方面的开放努力。

🔬 方法详解

问题定义：论文旨在解决预训练语言模型在适应下游任务和用户偏好时的性能不足，现有方法在数据集质量和微调技术上存在局限性。

核心思路：通过整合高质量的指令数据集和新的微调技术，推出TÜLU 2模型，旨在提升模型的适应性和性能。

技术框架：整体架构包括多个模块：首先是高质量指令数据集的构建（TÜLU-V2-mix），然后是基于这些数据集微调的LLAMA-2模型（TÜLU 2），接着是采用直接偏好优化（DPO）训练的模型（TÜLU 2+DPO），最后是针对代码生成的微调模型（CODE TÜLU 2）。

关键创新：最重要的技术创新在于引入了直接偏好优化（DPO）方法，使得模型能够更好地捕捉用户偏好，从而提升生成内容的质量。

关键设计：在模型训练中，采用了新的损失函数和优化策略，确保模型在微调过程中能够有效学习用户的偏好，同时在数据集的选择上也进行了精心设计，以提高训练效果。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果显示，TÜLU 2模型在多个基准上达到了最先进的性能，尤其是TÜLU 2+DPO 70B模型在性能上超越了现有的GPT-3.5-turbo-0301，展示了显著的提升幅度，具体性能数据在多个任务上均表现优异。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统、代码生成等，能够为开发更智能的语言模型提供支持，提升用户体验和任务适应性。未来，TÜLU 2的技术进步可能会推动更多领域的AI应用，促进人机交互的自然性和有效性。

📄 摘要（原文）

Since the release of TÜLU [Wang et al., 2023b], open resources for instruction tuning have developed quickly, from better base models to new finetuning techniques. We test and incorporate a number of these advances into TÜLU, resulting in TÜLU 2, a suite of improved TÜLU models for advancing the understanding and best practices of adapting pretrained language models to downstream tasks and user preferences. Concretely, we release: (1) TÜLU-V2-mix, an improved collection of high-quality instruction datasets; (2) TÜLU 2, LLAMA-2 models finetuned on the V2 mixture; (3) TÜLU 2+DPO, TÜLU 2 models trained with direct preference optimization (DPO), including the largest DPO-trained model to date (TÜLU 2+DPO 70B); (4) CODE TÜLU 2, CODE LLAMA models finetuned on our V2 mix that outperform CODE LLAMA and its instruction-tuned variant, CODE LLAMA-Instruct. Our evaluation from multiple perspectives shows that the TÜLU 2 suite achieves state-of-the-art performance among open models and matches or exceeds the performance of GPT-3.5-turbo-0301 on several benchmarks. We release all the checkpoints, data, training and evaluation code to facilitate future open efforts on adapting large language models.