DeepSeek于10月20日宣布,以Apache 2.0许可证开源其内部推理框架DeepInfer。该框架是支撑其V4.1-Flash模型在规模化场景下快速生成回答的服务软件,基于vLLM构建,并加入了优化的计算内核、跨多芯片的分布式处理以及更快的文本生成技术。DeepSeek同时表示,未来模型的代码也将以开源形式发布。

推理是训练完成后的AI模型处理请求并生成响应的环节,直接决定服务成本与响应速度。DeepSeek此次还发布了deepseek-recipe,用于复现官方API的token处理流程,使自托管部署的行为与官方服务保持一致。公司称,开源的目标是帮助社区降低算力成本、减少能耗,让AI更可负担。

从产业角度看,DeepSeek的模型本身已以低价著称,DeepInfer的开源补上了“更便宜地运行模型”的最后一环。对开发者而言,这意味着可以在自有基础设施上以更低成本复现接近官方API的效果,降低对闭源推理服务的依赖。对市场而言,高效推理栈的扩散可能进一步压低模型调用价格,给OpenAI、Anthropic等西方厂商带来定价压力。

这一动作也发生在中美AI竞争的大背景下。有观点认为,开源高效推理技术可能带有战略意图:若西方AI公司因价格竞争而难以达成增长目标,其影响可能外溢至更广泛的经济层面。不过,DeepSeek官方表述聚焦于社区成本与能效,并未直接评论竞争格局。

值得关注的是,推理效率的提升并不必然减少总算力需求。更低的单位成本可能刺激更多调用量,从而对算力基础设施形成新的需求结构。对产业链而言,开源推理框架的普及将考验云厂商与芯片厂商在软件栈优化上的能力,也可能加速AI应用侧的创新与落地。