是什么
规模定律(Scaling Law)是关于大模型的一条经验规律:模型的性能,会随 参数量、训练数据量、投入算力 三者的增长而可预测地提升,通常呈幂律关系。换句话说,在方法不变的前提下,把模型做得更大、喂更多数据、投更多算力,模型大概率会变得更强——而且强多少,在相当范围内是可以外推预测的。这一发现,是过去几年「大力出奇迹」式路线的理论依据。参数量、训练数据量与训练算力这三者的真实增长轨迹,可在数据页 AI 模型规模趋势 一图查看。
为什么重要
规模定律把「模型会不会更强」从难以把握的玄学,变成了一个可以外推的工程问题:投入越多、能力越强,且回报可预期。正因如此,各家实验室才敢于不断加码训练投入,云厂商与芯片厂商也据此做出巨额资本开支决策——这轮 AI 数据中心与算力的狂飙,底层正是对规模定律的信念。与此同时,「预训练规模定律是否放缓」也成为业界最重要的争论之一:当单纯堆预训练算力的边际收益下降,产业开始转向新的扩展维度,例如让模型在回答时多「思考」的推理算力。
在 AI 产业链中的位置
规模定律处在 AI 产业链的 模型 层,却是贯穿全链条的「需求引擎」:正是因为相信「更大规模 → 更强能力」,模型层才会源源不断地向下拉动 基础设施、芯片 与 能源 的巨量投入。可以说,规模定律是理解「为什么每一个成功的应用,都会一路拉动到它下面那座电厂」的理论注脚;而它是否放缓、以及扩展维度如何从预训练转向 推理模型,则决定着未来算力需求的形态。