最近有一个很有意思的现象，就是各大厂商的大模型，参数级别“越来越小”。
今年上半年个厂商在不断的增加模型参数量，动辄千万参数。
下半年各厂商发布模型时，却都会不约而同的带上了性能不错的“小模型”，无论是ChatGPT、Llamma、Mistral、通义千问、谷歌、微软还是苹果，都是如此。
出现这种现象的原因有：
1、投资方需要看到盈利的趋势，需要降低成本
各大模型厂商，前期纯烧钱阶段已高于段落，需要考虑逐步盈利，一方面要加大收入来源，一方面要降低推理成本
降低模型规模，进行模型量化，是最直接的降低成本的方法
2、“小模型”效果大幅提升，比大模型差不太多
这种提升主要来自于两方面，一方面“小模型”调优技术越发成熟，另一方面数据集越来越准确
最终使得“小模型”参数规模下降了一两个数量级后，仍可达到大模型70%~80%的水平
3、从通用化需求，转为专业化需求
之前大模型追求的是通用，也就是拥有几乎各行各业的专业知识
现在的“小模型”，不需要去吟诗作赋，只需要掌握某个领域的特定专业知识就好，但准确性要更高，对数据和调优要求就更高
4、单卡推理，进一步降低成本
仔细研究“小模型”后，会发现部分模型恰好可以在主流单GPU上运行
这样会避免在多显卡之间通讯或传递数据，推理性能会进一步提升
同样的，部署和调度的难度会大幅下降，稳定性会进一步提升
5、移动需求
无论是微软还是苹果，都在积极探索，让“小模型”可以在移动设备上顺畅运行
一方面可以利用终端算力，提升响应效率，降低服务端推理成本
另一方面可以规避或降低数据隐私的风险，会得到大企业的欢迎
现在模型已经进入下半场，通用模型的竞争格局已比较明显，不会再是大家角逐的重点
各类垂直行业的“小模型”，开始入场厮杀
这个过程中，会诞生一些2C的“小模型”，但更多的商机在各大公司的行业垂直模型，开始卷起来