在世界人工智慧大會WAIC期間,靈汐科技正式推出自研類腦超節點叢集產品——LynAInfra(靈琍),瞄準當前AI推理領域的兩大核心痛點:能耗過高推理延遲偏高。該公司宣稱,其產品在推理能效比上較傳統GPU方案提升3-10倍,首token延遲可壓縮至幾十到百毫秒級別,為國產高速推理賽道開闢了一條全新路徑。

當前AI行業面臨明顯瓶頸:儘管GPU不斷迭代,傳統晶片架構的底層侷限仍難以突破,而推理需求正迎來爆發式增長。據行業預測,未來推理業務將佔據AI基礎設施市場80%以上的份額。隨著Token經濟興起,AI程式設計加速、AI影片生成、多智慧體協同等高價值場景對推理時延和使用成本提出更高要求,GPU方案運營開銷大、首token延遲偏高的短板愈發突出。輝達佈局Groq加碼高速推理賽道,也印證了行業正在急切尋找推理架構革新方案。

靈汐科技依託自研類腦晶片的存算一體、事件驅動、眾核並行先天特質,打造了LynAInfra類腦高效能超節點,對標創新版Groq。該產品由靈汐科技完全自主研發,基於國內已實現規模化商用落地的類腦晶片構建。其核心產品LynAInfra128算力櫃搭載128張HP640系列板卡,單櫃級聯數千顆類腦晶片,釋放近100P@FP16算力,整機功耗控制在30kW以內。

在互聯架構上,LynAInfra依託自研LynxLink高速互聯協議以及統一記憶體地址編譯技術,既支援單機櫃算力提升(Scale up),也可多機櫃橫向擴充套件(Scale out),打破單卡、單節點視訊記憶體和算力上限,適配不同體量的大模型部署任務。裝置採用風冷散熱方案,模組化設計相容現有智算中心機櫃、供電、網路配套設施,大幅降低客戶部署改造成本。多機櫃之間可以做到無感級聯,輕鬆承載超大模型執行任務。

從產業價值看,LynAInfra128憑藉架構級節能優勢,用30kW功耗撐起近100P算力,有助於減少算力使用過程中的碳排放,助力智算中心綠色建設,響應國家雙碳戰略。對於企業客戶而言,該方案可顯著降低大模型推理的單位算力開銷,縮減整體擁有成本,助力大模型落地於產業數字化、城市治理、前沿科研等場景。更深層次來看,整套方案堅持國產自主創新路線,擺脫國外算力架構束縛,加固國產算力供應鏈安全。靈汐科技此舉不僅為高速推理市場帶來新選擇,也可能推動類腦計算在AI基礎設施領域的商業化程序。