InternLM2 Technical Report
作者: Zheng Cai, Maosong Cao, Haojiong Chen, Kai Chen, Keyu Chen, Xin Chen, Xun Chen, Zehui Chen, Zhi Chen, Pei Chu, Xiaoyi Dong, Haodong Duan, Qi Fan, Zhaoye Fei, Yang Gao, Jiaye Ge, Chenya Gu, Yuzhe Gu, Tao Gui, Aijia Guo, Qipeng Guo, Conghui He, Yingfan Hu, Ting Huang, Tao Jiang, Penglong Jiao, Zhenjiang Jin, Zhikai Lei, Jiaxing Li, Jingwen Li, Linyang Li, Shuaibin Li, Wei Li, Yining Li, Hongwei Liu, Jiangning Liu, Jiawei Hong, Kaiwen Liu, Kuikun Liu, Xiaoran Liu, Chengqi Lv, Haijun Lv, Kai Lv, Li Ma, Runyuan Ma, Zerun Ma, Wenchang Ning, Linke Ouyang, Jiantao Qiu, Yuan Qu, Fukai Shang, Yunfan Shao, Demin Song, Zifan Song, Zhihao Sui, Peng Sun, Yu Sun, Huanze Tang, Bin Wang, Guoteng Wang, Jiaqi Wang, Jiayu Wang, Rui Wang, Yudong Wang, Ziyi Wang, Xingjian Wei, Qizhen Weng, Fan Wu, Yingtong Xiong, Chao Xu, Ruiliang Xu, Hang Yan, Yirong Yan, Xiaogui Yang, Haochen Ye, Huaiyuan Ying, Jia Yu, Jing Yu, Yuhang Zang, Chuyu Zhang, Li Zhang, Pan Zhang, Peng Zhang, Ruijie Zhang, Shuo Zhang, Songyang Zhang, Wenjian Zhang, Wenwei Zhang, Xingcheng Zhang, Xinyue Zhang, Hui Zhao, Qian Zhao, Xiaomeng Zhao, Fengzhe Zhou, Zaida Zhou, Jingming Zhuo, Yicheng Zou, Xipeng Qiu, Yu Qiao, Dahua Lin
分类: cs.CL, cs.AI
发布日期: 2024-03-26
💡 一句话要点
提出InternLM2以解决开源大语言模型性能不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 开源大语言模型 长上下文建模 强化学习 预训练技术 模型对齐
📋 核心要点
- 现有开源大语言模型在性能和长上下文处理上存在不足，难以与最新的闭源模型竞争。
- 本文提出的InternLM2通过创新的预训练和优化技术，显著提升了模型在多维度评估中的表现。
- 实验结果显示，InternLM2在多个基准测试中超越了前代模型，尤其在长上下文建模和主观评估中表现突出。
📝 摘要（中文）
大型语言模型（LLMs）如ChatGPT和GPT-4的演变引发了关于人工通用智能（AGI）出现的讨论。然而，在开源模型中复制这些进展面临挑战。本文介绍了InternLM2，一个在6个维度和30个基准测试中表现优于前身的开源LLM。InternLM2通过创新的预训练和优化技术，详细描述了多种数据类型的准备过程，包括文本、代码和长上下文数据。该模型有效捕捉长期依赖性，最初在4k tokens上训练，随后在预训练和微调阶段提升至32k tokens，并在200k的“针在干草堆”测试中表现出色。InternLM2还通过监督微调（SFT）和新颖的条件在线强化学习（COOL RLHF）策略进行对齐，解决了人类偏好的冲突和奖励黑客问题。通过发布不同训练阶段和模型大小的InternLM2模型，我们为社区提供了模型演变的见解。
🔬 方法详解
问题定义：本文旨在解决开源大语言模型在性能和长上下文处理上的不足，现有方法难以有效捕捉长期依赖性，导致在复杂任务中的表现不佳。
核心思路：InternLM2通过创新的预训练策略和优化技术，特别是在数据准备和模型训练阶段，提升了模型的整体性能和适应性。
技术框架：InternLM2的整体架构包括数据准备、预训练、微调和对齐四个主要阶段。数据准备阶段涵盖文本、代码和长上下文数据的多样性，预训练阶段则从4k tokens逐步提升至32k tokens。
关键创新：最重要的技术创新在于引入了条件在线强化学习（COOL RLHF）策略，有效解决了人类偏好的冲突和奖励黑客问题，与传统的强化学习方法相比，提升了模型的对齐效果。
关键设计：在参数设置上，InternLM2采用了多种损失函数和网络结构，特别是在长上下文建模中，确保了模型能够有效捕捉长期依赖性。
🖼️ 关键图片
📊 实验亮点
InternLM2在多个基准测试中表现优异，尤其在长上下文建模方面，展现了从4k tokens到32k tokens的显著性能提升。在200k的“针在干草堆”测试中，InternLM2的表现超越了所有前代模型，验证了其创新方法的有效性。
🎯 应用场景
InternLM2的潜在应用领域包括自然语言处理、代码生成、对话系统等。其出色的长上下文处理能力使其在复杂文本理解和生成任务中具有实际价值，未来可能推动开源大语言模型在更多实际场景中的应用。
📄 摘要（原文）
The evolution of Large Language Models (LLMs) like ChatGPT and GPT-4 has sparked discussions on the advent of Artificial General Intelligence (AGI). However, replicating such advancements in open-source models has been challenging. This paper introduces InternLM2, an open-source LLM that outperforms its predecessors in comprehensive evaluations across 6 dimensions and 30 benchmarks, long-context modeling, and open-ended subjective evaluations through innovative pre-training and optimization techniques. The pre-training process of InternLM2 is meticulously detailed, highlighting the preparation of diverse data types including text, code, and long-context data. InternLM2 efficiently captures long-term dependencies, initially trained on 4k tokens before advancing to 32k tokens in pre-training and fine-tuning stages, exhibiting remarkable performance on the 200k ``Needle-in-a-Haystack" test. InternLM2 is further aligned using Supervised Fine-Tuning (SFT) and a novel Conditional Online Reinforcement Learning from Human Feedback (COOL RLHF) strategy that addresses conflicting human preferences and reward hacking. By releasing InternLM2 models in different training stages and model sizes, we provide the community with insights into the model's evolution.