DeepSeek在周二下午宣布,将内部推理框架DeepInfer全面开源,进一步开放大模型推理基础设施,目标是帮助开发者和企业降低大规模AI服务的算力成本与能源消耗。

DeepInfer集成了高性能算子与优化推理引擎,支持分布式推理、推测解码、结构化输出等能力,并兼容英伟达与华为昇腾两大硬件平台。这意味着开发者可以在不同芯片生态上部署该框架,减少对单一硬件供应商的依赖。

基于DeepInfer,DeepSeek已实现DeepSeek V4.1 Flash的高吞吐、低延迟大规模推理服务。同时,DeepSeek还开源了生产级Token编解码组件deepseek-recipe,确保社区获得与官方部署一致的API体验。未来,DeepSeek新模型的推理代码及后续优化也将在DeepInfer上持续更新。

DeepSeek表示,希望通过开放模型、算子库及推理框架,帮助开发者优化推理效率、降低部署成本,推动AI服务以更低成本触达更广泛的用户。

从产业视角看,推理环节正成为AI商业化落地的关键战场。随着大模型从训练走向大规模应用,推理的算力消耗和能耗成本直接决定了服务商的盈利能力与终端定价。DeepSeek此次开源推理框架,不仅延续了其在模型开源上的策略,更将开放范围延伸至推理基础设施层,可能对现有推理服务市场格局产生影响。

兼容华为昇腾平台尤其值得关注。在英伟达GPU供应受限的背景下,国产算力生态的软件适配成为关键瓶颈。DeepInfer对昇腾的支持,有助于降低开发者迁移至国产硬件的门槛,对推动国产AI芯片的推理应用具有积极意义。

此外,同步开源Token编解码组件,意味着社区开发者可以复现与官方一致的API体验,这有助于构建更统一的开发者生态,减少因编解码差异导致的效果偏差。

总体而言,DeepSeek通过开源推理框架,试图在模型层之外构建更完整的工具链,以降低AI服务的整体拥有成本。这一举措能否实质性地降低行业推理成本,还需观察社区采用情况与后续优化进展。