Yi: Open Foundation Models by 01.AI

📄 arXiv: 2403.04652v3 📥 PDF

作者: 01. AI, :, Alex Young, Bei Chen, Chao Li, Chengen Huang, Ge Zhang, Guanwei Zhang, Guoyin Wang, Heng Li, Jiangcheng Zhu, Jianqun Chen, Jing Chang, Kaidong Yu, Peng Liu, Qiang Liu, Shawn Yue, Senbin Yang, Shiming Yang, Wen Xie, Wenhao Huang, Xiaohui Hu, Xiaoyi Ren, Xinyao Niu, Pengcheng Nie, Yanpeng Li, Yuchi Xu, Yudong Liu, Yue Wang, Yuxuan Cai, Zhenyu Gu, Zhiyuan Liu, Zonghong Dai

分类: cs.CL, cs.AI

发布日期: 2024-03-07 (更新: 2025-01-21)

💡 一句话要点

提出Yi模型系列以提升多模态语言处理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 长上下文理解 视觉-语言模型 数据工程 深度学习 变换器架构 模型微调

📋 核心要点

  1. 现有模型在多模态语言处理和长上下文理解方面存在性能瓶颈，难以满足复杂应用需求。
  2. Yi模型系列通过结合高质量数据和经典的变换器架构，扩展了模型的多维能力，特别是在长上下文和视觉-语言任务上。
  3. 实验结果表明，Yi模型在多个基准测试中表现优异，尤其是在长上下文检索和人类偏好评估中显著提升。

📝 摘要（中文）

我们介绍了Yi模型系列，这是一系列展示强大多维能力的语言和多模态模型。Yi模型系列基于6B和34B预训练语言模型，扩展为聊天模型、200K长上下文模型、深度上采样模型和视觉-语言模型。我们的基础模型在MMLU等多个基准上表现出色，微调后的聊天模型在AlpacaEval和Chatbot Arena等主要评估平台上获得了较高的人类偏好率。通过构建3.1万亿个英文和中文语料的预训练数据，并进行多次迭代的微调，我们展示了Yi模型在性能上的优势。

🔬 方法详解

问题定义：本论文旨在解决现有多模态语言模型在处理长上下文和视觉信息时的性能不足，尤其是在复杂任务中的应用挑战。

核心思路：论文提出的核心思路是通过高质量的数据工程和经典的变换器架构，构建多模态模型以提升其在长上下文和视觉-语言任务中的表现。

技术框架：整体架构包括预训练和微调两个阶段。预训练阶段使用3.1万亿个语料进行数据去重和质量过滤，微调阶段则利用小规模的指令数据集进行多次迭代优化。

关键创新：最重要的技术创新在于将聊天语言模型与视觉变换器编码器结合，训练模型以对齐视觉表示与语言模型的语义空间，同时扩展上下文长度至200K。

关键设计：在参数设置上，Yi模型采用了深度上采样和轻量级持续预训练的方法，损失函数经过精细调整，以确保每个实例都经过机器学习工程师的验证。

📊 实验亮点

实验结果显示，Yi模型在MMLU等基准测试中表现优异，微调后的聊天模型在AlpacaEval和Chatbot Arena上获得了显著的人类偏好率提升，尤其在长上下文检索任务中表现出色，展示了强大的针尖检索能力。

🎯 应用场景

Yi模型系列具有广泛的应用潜力，特别是在智能对话系统、长文本理解和视觉信息检索等领域。其强大的多模态处理能力可以为人机交互、内容生成和信息检索等应用提供更高的准确性和效率，未来可能推动相关技术的进一步发展。

📄 摘要（原文）

We introduce the Yi model family, a series of language and multimodal models that demonstrate strong multi-dimensional capabilities. The Yi model family is based on 6B and 34B pretrained language models, then we extend them to chat models, 200K long context models, depth-upscaled models, and vision-language models. Our base models achieve strong performance on a wide range of benchmarks like MMLU, and our finetuned chat models deliver strong human preference rate on major evaluation platforms like AlpacaEval and Chatbot Arena. Building upon our scalable super-computing infrastructure and the classical transformer architecture, we attribute the performance of Yi models primarily to its data quality resulting from our data-engineering efforts. For pretraining, we construct 3.1 trillion tokens of English and Chinese corpora using a cascaded data deduplication and quality filtering pipeline. For finetuning, we polish a small scale (less than 10K) instruction dataset over multiple iterations such that every single instance has been verified directly by our machine learning engineers. For vision-language, we combine the chat language model with a vision transformer encoder and train the model to align visual representations to the semantic space of the language model. We further extend the context length to 200K through lightweight continual pretraining and demonstrate strong needle-in-a-haystack retrieval performance. We show that extending the depth of the pretrained checkpoint through continual pretraining further improves performance. We believe that given our current results, continuing to scale up model parameters using thoroughly optimized data will lead to even stronger frontier models.