JetMoE: Reaching Llama2 Performance with 0.1M Dollars

📄 arXiv: 2404.07413v1 📥 PDF

作者: Yikang Shen, Zhen Guo, Tianle Cai, Zengyi Qin

分类: cs.CL, cs.AI

发布日期: 2024-04-11

🔗 代码/项目: GITHUB

💡 一句话要点

提出JetMoE以低成本实现Llama2性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 稀疏门控混合专家 高效训练 自然语言处理 开放基础模型

📋 核心要点

  1. 现有大型语言模型在性能上取得了显著进展，但其高昂的训练成本和资源消耗限制了其广泛应用。
  2. JetMoE-8B采用稀疏门控混合专家架构，通过稀疏激活机制显著降低了计算需求，从而实现了高效的训练和推理。
  3. 实验结果显示，JetMoE-8B在性能上超越了Llama2-7B，并且在推理计算上减少了约70%，展现了更高的性价比。

📝 摘要（中文）

大型语言模型（LLMs）取得了显著成果，但其日益增加的资源需求成为开发强大且可访问的超人智能的主要障碍。本报告介绍了JetMoE-8B，这是一种以不到10万美元的成本训练的新LLM，使用了来自精心混合的开源语料库的1.25万亿个标记和30,000个H100 GPU小时。尽管成本低，JetMoE-8B的表现令人印象深刻，超越了Llama2-7B模型，JetMoE-8B-Chat也超过了Llama2-13B-Chat模型。这些结果表明，LLM训练的成本效益远超一般认知。JetMoE-8B基于高效的稀疏门控专家混合（SMoE）架构，包含注意力和前馈专家，两个层次均为稀疏激活，使JetMoE-8B拥有80亿参数，但每个输入标记仅激活20亿，从而将推理计算减少约70%。此外，JetMoE-8B高度开放，使用公共数据集和训练代码，所有训练参数和数据混合均在报告中详细说明，以促进未来开放基础模型的发展。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型训练成本高、资源需求大的问题。现有方法往往需要大量计算资源和资金，限制了其普及和应用。

核心思路：通过引入稀疏门控混合专家（SMoE）架构，JetMoE-8B能够在保持高性能的同时，显著降低计算需求和训练成本。稀疏激活机制使得模型在处理每个输入时仅激活部分参数，从而提高了效率。

技术框架：JetMoE-8B的整体架构包括多个专家模块，其中注意力和前馈专家均采用稀疏激活策略。模型在训练过程中使用了1.25万亿个标记和30,000个H100 GPU小时，确保了数据的多样性和丰富性。

关键创新：JetMoE-8B的主要创新在于其稀疏激活机制，使得模型在拥有80亿参数的同时，仅在推理时激活20亿参数。这一设计显著减少了计算负担，与传统的全激活模型相比，提升了推理效率。

关键设计：在模型设计中，JetMoE-8B采用了特定的参数设置和损失函数，确保了训练的稳定性和高效性。此外，所有训练参数和数据混合的细节均在报告中公开，以促进学术界的进一步研究和合作。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，JetMoE-8B在性能上超越了Llama2-7B，并且JetMoE-8B-Chat在对话生成任务中超过了Llama2-13B-Chat模型。此外，JetMoE-8B在推理计算上减少了约70%，展现了其在成本效益上的显著优势。

🎯 应用场景

JetMoE-8B的研究成果在多个领域具有潜在应用价值，包括自然语言处理、对话系统、内容生成等。其低成本高性能的特点使得更多研究机构和企业能够利用这一技术，推动智能应用的普及与发展。未来，JetMoE-8B有望成为开放基础模型领域的重要参考，促进更广泛的合作与创新。

📄 摘要（原文）

Large Language Models (LLMs) have achieved remarkable results, but their increasing resource demand has become a major obstacle to the development of powerful and accessible super-human intelligence. This report introduces JetMoE-8B, a new LLM trained with less than $0.1 million, using 1.25T tokens from carefully mixed open-source corpora and 30,000 H100 GPU hours. Despite its low cost, the JetMoE-8B demonstrates impressive performance, with JetMoE-8B outperforming the Llama2-7B model and JetMoE-8B-Chat surpassing the Llama2-13B-Chat model. These results suggest that LLM training can be much more cost-effective than generally thought. JetMoE-8B is based on an efficient Sparsely-gated Mixture-of-Experts (SMoE) architecture, composed of attention and feedforward experts. Both layers are sparsely activated, allowing JetMoE-8B to have 8B parameters while only activating 2B for each input token, reducing inference computation by about 70% compared to Llama2-7B. Moreover, JetMoE-8B is highly open and academia-friendly, using only public datasets and training code. All training parameters and data mixtures have been detailed in this report to facilitate future efforts in the development of open foundation models. This transparency aims to encourage collaboration and further advancements in the field of accessible and efficient LLMs. The model weights are publicly available at https://github.com/myshell-ai/JetMoE.