微软开源最强小参数大模型—Phi-3 Mini丨3.3T tokens或将成为资源消耗最小的大语言模型

4月23日晚，微软在官网开源了小参数的大语言模型——Phi-3-mini。

据悉，Phi-3-mini是微软Phi家族的第4代，有预训练和指令微调多种模型，参数只有38亿训练数据却高达3.3T tokens，比很多数百亿参数的模型训练数据都要多，这也是其性能超强的主要原因之一。

Phi-3-mini对内存的占用极少，可以在 iPhone 14等同类手机中部署使用该模型。尽管受到移动硬件设备的限制，但每秒仍能生成12 个tokens数据。

值得一提的是，微软在预训练Phi-3-mini时使用了合成数据，能帮助大模型更好地理解语言架构、表达方式、文本语义理解、逻辑推理以及特定业务场景的专业术语等。

开源地址：https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3

Ollama地址：https://ollama.com/library/phi3

技术报告：https://arxiv.org/abs/2404.14219

2023年6月，微软首次推出了专用于Python编码的模型Phi-1.只有13亿参数却在编程领域击败了GPT-3.5等知名模型，这让微软看到小参数模型的广阔发展空间。

随后在Phi-1基础之上，微软推出了具备推理、文本生成、内容总结、起草邮件的大语言模型Phi-1.5.成为当时最强小参数模型之一。

2023年12月，微软在Phi-1.5基础之上开发了Phi-2.参数只有27亿并且在没有人类反馈强化学习和指令微调的情况下，击败了130亿参数的Llama-2和70亿参数的Mistral;在编码和数学测试中，Phi-2的性能甚至超过了700亿参数的Llama-2.

本次发布的Phi-3系列集合了之前三代所有的优秀技术特征，并使用了海量高质量数据集、创新的训练、微调方法，使其成为目前最强的开源小参数模型。

Phi-3-mini架构简单介绍

Phi-3-mini采用了transformer架构，支持4K和128K上下文窗口，也是同类小模型中第一个支持128K的开源产品。

高质量训练数据集是Phi-3-mini性能超强的重要原因之一，微软使用了3.3T tokens数据集包括：经过严格质量筛选的网络公开文档、精选的高质量教育数据和编程代码;

通过合成数据创建的教科书式数据，例如，数学、编码、常识推理、世界常识、心理科学等;

高质量聊天格式的监督数据，涵盖各种主题以反映人类在不同方面的偏好，例如，遵循指令、真实性、诚实性等。

在训练策略方面，为了帮助Phi-3-mini更好地吸收合成数据，微软使用了迭代训练策略：初始阶段，Phi-3-mini使用了公开网络数据，学会了基本的语法、语义和上下文理解;

迭代阶段，将合成数据与网络数据合并构建全新的训练集，并对Phi-3-mini进行迭代训练，进一步强化模型的理解和生成能力，并且进行多次重复训练。

测试数据方面，Phi-3 Mini在MMLU、GSM-8K、MedQA、BigBench-Hard等知名基准测试平台中，对语言理解、逻辑推理、机器翻译、编码等进行了综合测试。

结果显示，Phi-3-mini仅通过少量样本提示，在语言理解、编码、数学的性能超过了参数更大的模型，整体性能非常出色。

微软表示，在未来几周内还会发布70亿参数的Phi-3-small和140亿参数的Phi-3-medium两款小模型。其中，Phi-3-medium的性能可媲美Mixtral 8x7B 和GPT-3.5.资源消耗却更少。