中國AI產業在晶片層與模型層均已取得長足進步,但兩者之間的推理引擎環節長期依賴海外框架,成為制約國產算力高效產出的隱性瓶頸。在今年的世界人工智慧大會(WAIC)上,清程極智聯合創始人師天麾博士與唐適之博士對外完整展示了其國產Token“前店後廠”一體化產品體系,試圖為這一斷層架設橋樑。

該體系的核心是清程極智自研的赤兔Chitu生產級推理引擎。與直接適配海外開源方案不同,赤兔引擎從第一行程式碼起就針對國產晶片的硬體特性進行原生深度最佳化。其聯合創始人唐適之指出,當前絕大多數國產加速晶片在硬體層面並不具備FP4、FP8低位寬浮點原生計算單元,而DeepSeek等新一代主流大模型恰恰原生採用FP4精度訓練。傳統應對方案要麼強制轉換為BF16高位寬格式導致視訊記憶體佔用翻倍,要麼降級為INT8整數量化造成模型精度永久損失。

赤兔引擎通過兩套自研技術體系實現破局。一是自研軟體浮點模擬計算架構,在無需依賴專用硬體單元的情況下,通過底層運算元與編譯層協同最佳化,在國產晶片內部完整復現低位寬浮點計算邏輯,既規避了視訊記憶體開銷,又完整保留了模型原生精度。二是基於國產晶片架構定製的混合量化方案,針對權重載入、KV Cache快取排程及多卡分散式並行進行全鏈路最佳化,兼顧視訊記憶體佔用、推理吞吐與輸出精度。

這套技術路徑帶來的效率提升直接體現在成本端。傳統通用開源推理框架部署DeepSeek滿血版至少需要4台國產8卡伺服器,而搭載赤兔引擎後僅需單台即可完整跑通,硬體綜合成本直降75%。同時,該方案還能盤活企業存量算力——大量僅支援BF16、INT8的舊款國產加速卡,接入赤兔後無需更換硬體即可原生相容FP4大模型,避免了硬體淘汰重置的大額支出。

在Token生產環節之外,清程極智還構建了負責流通排程的“前店”——AI Ping一站式Token排程與服務平台。當前Token服務質量參差不齊,師天麾在採訪中描述,3至5秒該返回的請求有時會飆升至上百秒。AI Ping通過統一介面接入30餘家主流服務商、600餘個大模型服務,進行7×24小時即時監測,基於每一次呼叫的實測資料自動將請求路由至當前服務質量最優的供應商。據官方資料,企業接入AI Ping後,API呼叫綜合成本降低超過37%,吞吐提升超過90%,延遲降低超過20%,服務呼叫成功率可提升至99.99%以上。師天麾將這一模式形容為“飛輪效應”:評測越準,路由越好;路由越好,客戶用量越大;用量越大,呼叫資料越多;資料越多,評測更準——形成難以複製的資料壁壘。

在終端落地層面,清程極智的八卦爐系列產品線提供了Agent搭建、本地化私有化部署及算力中心開箱即用等能力,覆蓋從算力硬體廠商、AI服務商到政企高校等不同客戶的分層需求。整套“前店後廠”體系的價值鏈已清晰貫通:後廠以赤兔引擎生產Token,前店以AI Ping智慧排程分發,終端以八卦爐系列完成交付,一站式解決企業在國產化落地過程中面臨的成本、適配與排程三大難題。

從去年WAIC展示推理引擎降低硬體門檻,到今年完整發布Token全鏈路體系,清程極智試圖用實踐向產業證明,“國產晶片+國產推理框架+國產大模型”的組合不僅可行,而且成本更低、效率更高。當Token的生產、排程與交付實現全鏈路國產化,中國AI產業的底座才算真正扎穩。