H2O-Danube-1.8B Technical Report

📄 arXiv: 2401.16818v2 📥 PDF

作者: Philipp Singer, Pascal Pfeiffer, Yauhen Babakhin, Maximilian Jeblick, Nischay Dhankhar, Gabor Fodor, Sri Satish Ambati

分类: cs.CL, cs.LG

发布日期: 2024-01-30 (更新: 2024-04-15)

💡 一句话要点

提出H2O-Danube系列语言模型以提升LLM性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 预训练 微调 对话系统 开放获取 自然语言处理 性能优化

📋 核心要点

  1. 现有大型语言模型在性能和资源消耗上存在平衡挑战，尤其是在小型模型的应用场景中。
  2. H2O-Danube系列模型通过在大规模数据集上进行预训练，并结合监督微调和偏好优化，提升了模型的性能和适用性。
  3. H2O-Danube2-1.8B在Open LLM Leaderboard上取得了领先地位，展示了其在小型语言模型中的竞争力。

📝 摘要（中文）

我们提出了H2O-Danube系列小型1.8B语言模型，包括H2O-Danube-1.8B和经过增量改进的H2O-Danube2-1.8B，后者在额外的2T tokens上进行训练。我们的模型在多个基准测试中表现出高度竞争力，截至目前，H2O-Danube2-1.8B在所有参数少于2B的模型中在Open LLM Leaderboard上排名第一。模型遵循LLama 2和Mistral的核心原则，并利用和改进了多种大型语言模型的预训练技术。此外，我们还发布了经过监督微调和直接偏好优化训练的聊天模型，所有模型均在Apache 2.0许可下公开，进一步使LLM更广泛地可及。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在性能与资源消耗之间的平衡问题，尤其是在小型模型的应用场景中，现有方法往往无法满足高效性与准确性的双重需求。

核心思路：论文提出的H2O-Danube系列模型通过在1T和2T tokens上进行预训练，结合监督微调和直接偏好优化，旨在提升模型的整体性能和用户体验。

技术框架：整体架构包括预训练阶段和微调阶段。预训练阶段使用大规模文本数据进行模型训练，微调阶段则通过监督学习和偏好优化进一步提升模型的对话能力和响应质量。

关键创新：H2O-Danube系列模型的主要创新在于其在小型模型中实现了与大型模型相媲美的性能，尤其是在开放领域的对话生成任务中，展示了其独特的优势。

关键设计：模型的训练过程中采用了先进的损失函数设计，优化了参数设置，并在网络结构上进行了精细调整，以确保在保持较小参数量的同时，仍能实现高效的学习和推理能力。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

H2O-Danube2-1.8B在Open LLM Leaderboard上取得了领先地位，成为所有参数少于2B的模型中表现最佳的模型，展示了在多个基准测试中显著的性能提升，具体数据未提供。

🎯 应用场景

H2O-Danube系列模型具有广泛的应用潜力，尤其适用于对话系统、智能客服、内容生成等领域。其开放获取的特性使得更多开发者和研究者能够在不同场景中进行实验和应用，推动了自然语言处理技术的普及与发展。

📄 摘要（原文）

We present H2O-Danube, a series of small 1.8B language models consisting of H2O-Danube-1.8B, trained on 1T tokens, and the incremental improved H2O-Danube2-1.8B trained on an additional 2T tokens. Our models exhibit highly competitive metrics across a multitude of benchmarks and, as of the time of this writing, H2O-Danube2-1.8B achieves the top ranking on Open LLM Leaderboard for all models below the 2B parameter range. The models follow core principles of LLama 2 and Mistral, and we leverage and refine various techniques for pre-training large language models. We additionally release chat models trained with supervised fine-tuning followed by direct preference optimization. We make all models openly available under Apache 2.0 license further democratizing LLMs to a wider audience economically.