DeepSeek LLM: Scaling Open-Source Language Models with Longtermism

📄 arXiv: 2401.02954v1 📥 PDF

作者: DeepSeek-AI, :, Xiao Bi, Deli Chen, Guanting Chen, Shanhuang Chen, Damai Dai, Chengqi Deng, Honghui Ding, Kai Dong, Qiushi Du, Zhe Fu, Huazuo Gao, Kaige Gao, Wenjun Gao, Ruiqi Ge, Kang Guan, Daya Guo, Jianzhong Guo, Guangbo Hao, Zhewen Hao, Ying He, Wenjie Hu, Panpan Huang, Erhang Li, Guowei Li, Jiashi Li, Yao Li, Y. K. Li, Wenfeng Liang, Fangyun Lin, A. X. Liu, Bo Liu, Wen Liu, Xiaodong Liu, Xin Liu, Yiyuan Liu, Haoyu Lu, Shanghao Lu, Fuli Luo, Shirong Ma, Xiaotao Nie, Tian Pei, Yishi Piao, Junjie Qiu, Hui Qu, Tongzheng Ren, Zehui Ren, Chong Ruan, Zhangli Sha, Zhihong Shao, Junxiao Song, Xuecheng Su, Jingxiang Sun, Yaofeng Sun, Minghui Tang, Bingxuan Wang, Peiyi Wang, Shiyu Wang, Yaohui Wang, Yongji Wang, Tong Wu, Y. Wu, Xin Xie, Zhenda Xie, Ziwei Xie, Yiliang Xiong, Hanwei Xu, R. X. Xu, Yanhong Xu, Dejian Yang, Yuxiang You, Shuiping Yu, Xingkai Yu, B. Zhang, Haowei Zhang, Lecong Zhang, Liyue Zhang, Mingchuan Zhang, Minghua Zhang, Wentao Zhang, Yichao Zhang, Chenggang Zhao, Yao Zhao, Shangyan Zhou, Shunfeng Zhou, Qihao Zhu, Yuheng Zou

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-01-05

💡 一句话要点

提出DeepSeek LLM以解决开源语言模型扩展性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开源语言模型 扩展法则 深度学习 自然语言处理 模型优化

📋 核心要点

  1. 现有开源大型语言模型的扩展法则存在不一致的结论，给模型的有效扩展带来了挑战。
  2. 本文提出DeepSeek LLM，通过研究扩展法则，支持7B和67B配置的大规模模型扩展，并开发了一个包含2万亿标记的数据集。
  3. 实验结果表明，DeepSeek LLM 67B在多个基准测试中超越LLaMA-2 70B，尤其在代码、数学和推理领域表现优异。

📝 摘要（中文）

开源大型语言模型（LLMs）的快速发展令人瞩目。然而，现有文献中关于扩展法则的结论不一，给LLMs的扩展带来了挑战。本文深入研究扩展法则，提出了独特的发现，促进了在7B和67B两种常用开源配置中大规模模型的扩展。我们引入DeepSeek LLM项目，致力于从长远角度推进开源语言模型的发展。为支持预训练阶段，我们开发了一个目前包含2万亿个标记的数据集，并持续扩展。经过监督微调（SFT）和直接偏好优化（DPO），我们创建了DeepSeek Chat模型。评估结果显示，DeepSeek LLM 67B在多个基准测试中超越了LLaMA-2 70B，尤其在代码、数学和推理领域表现突出。此外，开放式评估表明DeepSeek LLM 67B Chat的性能优于GPT-3.5。

🔬 方法详解

问题定义：本文旨在解决开源大型语言模型在扩展过程中的不确定性和效率问题，现有方法在扩展法则上存在不一致性，导致模型性能无法有效提升。

核心思路：通过深入研究扩展法则，提出DeepSeek LLM，旨在从长远的视角推动开源语言模型的发展，特别是在7B和67B配置下的应用。

技术框架：整体架构包括数据集的构建、预训练、监督微调（SFT）和直接偏好优化（DPO）等多个阶段，确保模型在不同任务上的表现。

关键创新：DeepSeek LLM的主要创新在于其独特的数据集和优化策略，使得模型在特定领域（如代码和推理）中表现优于现有的基准模型。

关键设计：在模型设计中，采用了大规模数据集（2万亿标记），并结合了SFT和DPO技术，确保模型在训练过程中的高效性和准确性。通过这些设计，DeepSeek LLM能够在多个任务上实现显著的性能提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DeepSeek LLM 67B在多个基准测试中超越了LLaMA-2 70B，特别是在代码、数学和推理领域表现突出。此外，DeepSeek LLM 67B Chat在开放式评估中优于GPT-3.5，展示了其在实际应用中的优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、代码生成、数学推理等多个领域。DeepSeek LLM的开发不仅可以推动开源语言模型的研究进展，还能为实际应用提供更强大的支持，具有广泛的社会和经济价值。

📄 摘要（原文）

The rapid development of open-source large language models (LLMs) has been truly remarkable. However, the scaling law described in previous literature presents varying conclusions, which casts a dark cloud over scaling LLMs. We delve into the study of scaling laws and present our distinctive findings that facilitate scaling of large scale models in two commonly used open-source configurations, 7B and 67B. Guided by the scaling laws, we introduce DeepSeek LLM, a project dedicated to advancing open-source language models with a long-term perspective. To support the pre-training phase, we have developed a dataset that currently consists of 2 trillion tokens and is continuously expanding. We further conduct supervised fine-tuning (SFT) and Direct Preference Optimization (DPO) on DeepSeek LLM Base models, resulting in the creation of DeepSeek Chat models. Our evaluation results demonstrate that DeepSeek LLM 67B surpasses LLaMA-2 70B on various benchmarks, particularly in the domains of code, mathematics, and reasoning. Furthermore, open-ended evaluations reveal that DeepSeek LLM 67B Chat exhibits superior performance compared to GPT-3.5.