小模型界o1来了：微软推出Phi-4，数学推理能力太逆天！14B模型击败GPT-4o！还印证了AI墙的一个重要推断

家人们，微软Phi-4的数学能力太逆天了。谁看了不感慨一句：小模型才是未来！

8个月前，微软发布了Phi-3，性能超过庞然大物Llama-3，狠狠惊艳了我们一把。

8个月后，Phi-4飞跃式突破，让所有人知道谁才是小模型唯一的王！

图片

自几个月前o1发布后，模型“搞定”数理化的能力已经飞升到博士级别，大模型也纷纷在推理能力上进行追赶。

而Phi-4祭出了小模型的王炸，14B小小模型，在数学推理上竟然反超多模态大模型Gemini Pro 1.5 两分之多！

图片

在「AI撞墙」被热烈讨论的一天，微软另辟蹊径，似乎告诉AI公司：别再傻傻地Scaling了！

1.14B小模型，也能懂数学推理！

Phi-4确实可以进行思维推理！

在微软给的案例中，Phi-4在解题过程中展现了清晰的推理链条，成功解决了蜗牛难题！

图片

问题：在一场由 5 只蜗牛参加的比赛中，最多可能出现一场平局，但平局可以涉及任意数量的蜗牛。例如，比赛结果可能是 Dazzler 获得第一名，Abby、Cyrus 和 Elroy 并列第二，Bruna 获得第五名。那么，比赛的可能结果总共有多少种？

Phi-4根据题干，先计算了没有平局出现的情况，为120种。

然后在有一场平局的情况中，继续按照“选择 k 只蜗牛组成平局组”的思路分解问题，最终得出了正确回答。

这一能力表明，Phi-4在科学研究、工程和金融建模等领域未来可期！

也让我们对端侧模型的未来更加期待了！对于许多应用来说，这种针对性的卓越性能比大型模型的广泛但较低效的能力更有价值得多。

2.模型访问：azure独家首发，下周登陆抱抱脸

比较可惜的是，Phi-4目前的可用性有限。

独家首发在了微软自家的Azure AI Foundry上使用，更多的面向科研用途。地址：

https://ai.azure.com/explore/models?&selectedCollectinotallow=phi

不过，按照计划下周会在Hugging Face平台上线。

这也算是微软在用Phi-4这张王牌，给Azure AI Foundry“引流”了。

Azure AI Foundry在去年推出，作为一个集中管理的中心，旨在帮助企业级用户管理项目、微调AI模型，并访问Azure AI服务。

在Phi-4技术报告中，还提到了该平台独特的内容安全功能。主要包括：

• Prompt Shields（提示保护）：帮助应对潜在的提示攻击。

• 受保护内容检测：识别敏感或受限制的材料。

• Groundedness Detection（扎实性检测）：确保生成内容有据可依。

3.AI墙绝不是危言耸听：已逼近预训练数据墙！

在Phi-4的报告中，Phi系列在性能上的“极致一跃”，被归功于合成数据和后期训练的提高和改进。

“在数学推理方面，Phi-4 的表现优于同类和更大型的模型，这得益于整个流程的进步，包括高质量合成数据集的使用、高质量有机数据的整理以及后期训练的创新。”

图片

Phi展现了模型界的一种趋势，也反映着预训练的尴尬之处：大规模的预训练，通常需要海量的数据和计算资源。随着硬件能力的提升和模型规模的扩大，虽然模型性能逐渐增强，但增益的边际效应越来越小，即每次训练的优化效果趋于减弱。

Scale AI 首席执行官Alexandr Wang周四在一条推文中说："我们已经达到了预训练数据墙。"

图片

国内则更早展现了这个趋势的“风声”。此前报道，国内大模型“六小虎”中至少有两家公司已经放弃了预训练，开始专注于AI应用层。

AI公司越来越认识到，预训练的烧钱带来的价值在走低，尤其是在硬件资源有限的情况下，开发大规模预训练模型可能难以为继。不如守好自己的用户，通过灵活的后期训练和反馈迭代，扎实地做好AI产品的落地。

另外，还有一个小插曲，Phi-4是微软Phi系列核心人物布贝克（Sébastien Bubeck），被OpenAI挖走后的首次更新！

图片

在 2024 年加入 OpenAI 之前，Bubeck 在微软研究院工作了近十年，离职前为微软的人工智能副总裁。