DeepSeek於10月20日宣佈,以Apache 2.0許可證開源其內部推理框架DeepInfer。該框架是支撐其V4.1-Flash模型在規模化場景下快速生成回答的服務軟體,基於vLLM構建,並加入了最佳化的計算核心、跨多晶片的分散式處理以及更快的文本生成技術。DeepSeek同時表示,未來模型的程式碼也將以開源形式釋出。
推理是訓練完成後的AI模型處理請求並生成響應的環節,直接決定服務成本與響應速度。DeepSeek此次還發布了deepseek-recipe,用於復現官方API的token處理流程,使自託管部署的行為與官方服務保持一致。公司稱,開源的目標是幫助社群降低算力成本、減少能耗,讓AI更可負擔。
從產業角度看,DeepSeek的模型本身已以低價著稱,DeepInfer的開源補上了“更便宜地執行模型”的最後一環。對開發者而言,這意味著可以在自有基礎設施上以更低成本復現接近官方API的效果,降低對閉源推理服務的依賴。對市場而言,高效推理棧的擴散可能進一步壓低模型呼叫價格,給OpenAI、Anthropic等西方廠商帶來定價壓力。
這一動作也發生在中美AI競爭的大背景下。有觀點認為,開源高效推理技術可能帶有戰略意圖:若西方AI公司因價格競爭而難以達成增長目標,其影響可能外溢至更廣泛的經濟層面。不過,DeepSeek官方表述聚焦於社群成本與能效,並未直接評論競爭格局。
值得關注的是,推理效率的提升並不必然減少總算力需求。更低的單位成本可能刺激更多呼叫量,從而對算力基礎設施形成新的需求結構。對產業鏈而言,開源推理框架的普及將考驗雲廠商與晶片廠商在軟體棧最佳化上的能力,也可能加速AI應用側的創新與落地。