Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone
作者: Marah Abdin, Jyoti Aneja, Hany Awadalla, Ahmed Awadallah, Ammar Ahmad Awan, Nguyen Bach, Amit Bahree, Arash Bakhtiari, Jianmin Bao, Harkirat Behl, Alon Benhaim, Misha Bilenko, Johan Bjorck, Sébastien Bubeck, Martin Cai, Qin Cai, Vishrav Chaudhary, Dong Chen, Dongdong Chen, Weizhu Chen, Yen-Chun Chen, Yi-Ling Chen, Hao Cheng, Parul Chopra, Xiyang Dai, Matthew Dixon, Ronen Eldan, Victor Fragoso, Jianfeng Gao, Mei Gao, Min Gao, Amit Garg, Allie Del Giorno, Abhishek Goswami, Suriya Gunasekar, Emman Haider, Junheng Hao, Russell J. Hewett, Wenxiang Hu, Jamie Huynh, Dan Iter, Sam Ade Jacobs, Mojan Javaheripi, Xin Jin, Nikos Karampatziakis, Piero Kauffmann, Mahoud Khademi, Dongwoo Kim, Young Jin Kim, Lev Kurilenko, James R. Lee, Yin Tat Lee, Yuanzhi Li, Yunsheng Li, Chen Liang, Lars Liden, Xihui Lin, Zeqi Lin, Ce Liu, Liyuan Liu, Mengchen Liu, Weishung Liu, Xiaodong Liu, Chong Luo, Piyush Madan, Ali Mahmoudzadeh, David Majercak, Matt Mazzola, Caio César Teodoro Mendes, Arindam Mitra, Hardik Modi, Anh Nguyen, Brandon Norick, Barun Patra, Daniel Perez-Becker, Thomas Portet, Reid Pryzant, Heyang Qin, Marko Radmilac, Liliang Ren, Gustavo de Rosa, Corby Rosset, Sambudha Roy, Olatunji Ruwase, Olli Saarikivi, Amin Saied, Adil Salim, Michael Santacroce, Shital Shah, Ning Shang, Hiteshi Sharma, Yelong Shen, Swadheen Shukla, Xia Song, Masahiro Tanaka, Andrea Tupini, Praneetha Vaddamanu, Chunyu Wang, Guanhua Wang, Lijuan Wang, Shuohang Wang, Xin Wang, Yu Wang, Rachel Ward, Wen Wen, Philipp Witte, Haiping Wu, Xiaoxia Wu, Michael Wyatt, Bin Xiao, Can Xu, Jiahang Xu, Weijian Xu, Jilong Xue, Sonali Yadav, Fan Yang, Jianwei Yang, Yifan Yang, Ziyi Yang, Donghan Yu, Lu Yuan, Chenruidong Zhang, Cyril Zhang, Jianwen Zhang, Li Lyna Zhang, Yi Zhang, Yue Zhang, Yunan Zhang, Xiren Zhou
分类: cs.CL, cs.AI
发布日期: 2024-04-22 (更新: 2024-08-30)
备注: 24 pages
💡 一句话要点
提出phi-3系列语言模型以实现手机端高效推理
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 手机端应用 多模态 参数优化 自然语言处理
📋 核心要点
- 现有语言模型在手机端的部署能力和性能之间存在矛盾，难以实现高效推理。
- 论文提出的phi-3系列模型通过优化参数和训练数据，旨在提升手机端的语言理解和生成能力。
- 实验结果显示，phi-3-mini在多个基准测试中表现优异，尤其在MMLU和MT-bench上显著提升了性能。
📝 摘要（中文）
我们介绍了phi-3-mini，这是一个拥有38亿参数的语言模型，训练于33万亿个标记，其整体性能在学术基准和内部测试中与Mixtral 8x7B和GPT-3.5相当。尽管模型较小，能够在手机上部署，但在MMLU上达到了69%的准确率，在MT-bench上得分8.38。训练数据集是对phi-2使用的数据的扩展版本，包含经过严格筛选的公开网络数据和合成数据。我们还提供了参数扩展结果，训练了7B和14B模型，分别称为phi-3-small和phi-3-medium，显著优于phi-3-mini。为了增强多语言、多模态和长上下文能力，我们引入了phi-3.5系列的三个模型，分别是phi-3.5-mini、phi-3.5-MoE和phi-3.5-Vision。
🔬 方法详解
问题定义：本论文旨在解决现有语言模型在手机端部署时性能不足的问题，尤其是在推理和生成任务中的表现不佳。现有模型往往需要大量计算资源，难以适应移动设备的限制。
核心思路：论文的核心思路是通过训练一个参数优化的语言模型（phi-3-mini），使其在保持较小体积的同时，能够在手机上实现高效的语言处理能力。通过扩展训练数据集和模型参数，提升模型的整体性能。
技术框架：phi-3系列模型的整体架构包括多个版本，分别为phi-3-mini、phi-3-small和phi-3-medium，后者具有更高的参数量和训练数据量。模型的训练过程包括数据预处理、模型训练及后期的对齐和优化。
关键创新：最重要的技术创新在于引入了经过严格筛选的训练数据集，并在模型设计上进行了多层次的参数优化，使得phi-3系列模型在手机端的应用成为可能。与现有大型模型相比，phi-3系列在性能和资源消耗上实现了更好的平衡。
关键设计：在模型设计中，采用了多种参数设置和损失函数，确保模型在训练过程中能够有效学习。特别是phi-3.5-MoE模型采用了16 x 3.8B的MoE结构，具有6.6亿个活跃参数，显著提升了语言推理和数学任务的表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，phi-3-mini在MMLU基准测试中达到了69%的准确率，而在MT-bench上得分8.38。相比之下，phi-3-small和phi-3-medium在MMLU上分别达到了75%和78%的准确率，显示出显著的性能提升，尤其在语言推理和代码任务上表现优异。
🎯 应用场景
该研究的潜在应用领域包括智能手机助手、实时翻译、教育工具以及各种需要自然语言处理的移动应用。通过在手机端实现高效的语言模型，能够为用户提供更智能、更便捷的交互体验，推动移动计算的发展。
📄 摘要（原文）
We introduce phi-3-mini, a 3.8 billion parameter language model trained on 3.3 trillion tokens, whose overall performance, as measured by both academic benchmarks and internal testing, rivals that of models such as Mixtral 8x7B and GPT-3.5 (e.g., phi-3-mini achieves 69% on MMLU and 8.38 on MT-bench), despite being small enough to be deployed on a phone. Our training dataset is a scaled-up version of the one used for phi-2, composed of heavily filtered publicly available web data and synthetic data. The model is also further aligned for robustness, safety, and chat format. We also provide parameter-scaling results with a 7B, 14B models trained for 4.8T tokens, called phi-3-small, phi-3-medium, both significantly more capable than phi-3-mini (e.g., respectively 75%, 78% on MMLU, and 8.7, 8.9 on MT-bench). To enhance multilingual, multimodal, and long-context capabilities, we introduce three models in the phi-3.5 series: phi-3.5-mini, phi-3.5-MoE, and phi-3.5-Vision. The phi-3.5-MoE, a 16 x 3.8B MoE model with 6.6 billion active parameters, achieves superior performance in language reasoning, math, and code tasks compared to other open-source models of similar scale, such as Llama 3.1 and the Mixtral series, and on par with Gemini-1.5-Flash and GPT-4o-mini. Meanwhile, phi-3.5-Vision, a 4.2 billion parameter model derived from phi-3.5-mini, excels in reasoning tasks and is adept at handling both single-image and text prompts, as well as multi-image and text prompts.