Cerebras 本週正式釋出新一代機架級 AI 系統 CS-4,整合三顆 WSE-3T 晶片,提供 750 PFLOPS 的 16 位 AI 算力與 129.6 PB/s 記憶體頻寬。這家以晶圓級晶片著稱的公司再次展示了其在 AI 算力領域的激進路線,但新系統明確不面向傳統 HPC 工作負載。

CS-4 的核心是 Cerebras 的第三代晶圓級引擎 WSE-3T。每顆晶片包含 4 萬億電晶體90 萬 AI 最佳化核心44GB SRAM。與上一代 WSE-3 相比,WSE-3T 將 16 位算力提升至 250 PFLOPS,記憶體頻寬翻倍至 43.2 PB/s。三顆 WSE-3T 組合在一起,構成了 CS-4 的計算核心。

在應用層面,Cerebras 強調 CS-4 在 token 生成速度上的表現。公司表示,執行 OpenAIGPT-OSS-120B 模型時,CS-4 每使用者每秒可生成 4,400 tokens,比最快的 GPU 方案快 30 倍。Cerebras 聯合創始人兼 CEO Andrew Feldman 表示,速度就是 AI 的生產力,過去為了速度不得不使用更小、能力較弱的模型,而 CS-4 專為執行最大規模的模型設計,能在 10 萬億引數模型上實現每秒 1,000 tokens 的生成速度,並支援未來高達 50 萬億引數 的模型。

為了實現這種擴充套件能力,Cerebras 引入了新的機架級 Nexus 平台架構,並推出了可插拔的“計算背包”(compute backpack)設計。每個背包圍繞 WSE-3T 晶片構建,集成了電源轉換、液冷、高速 I/O 和控制電子元件。這種模組化設計簡化了封裝和製造,並提高了系統的可重複性。背包內還包含新的 I/O 子系統 Wafer I/O Module,提供兩種連線方式:Direct Wafer Links 可實現晶圓到晶圓的直接連線,延遲低至 2 微秒,無需交換機;同時支援基於標準的 RoCE v2 RDMA 連線,使其能夠接入包含其他 AI 加速器的異構資料中心。Cerebras 稱,CS-4 的片外聚合頻寬翻倍至每晶圓 2.4 Tb/s,每機架可達 7.2 Tb/s

將電源轉換移至更靠近晶片的位置,減少了板級功耗,使 WSE-3T 能夠獲得兩倍的功率,從而以更高頻率執行,這也是算力翻倍的原因之一。CS-4 的設計目標是訓練和執行前沿 AI 模型,其宣傳的效能指標主要基於 16 位精度。對於許多需要雙精度 FP64 能力的傳統 HPC 工作負載,這並不適用。Cerebras 明確表示,這不是為這類應用設計的機器。

儘管如此,CS-4 仍可能在超級計算中心找到一席之地。隨著先進計算社群擁抱 AI,他們需要更大、更快的叢集來訓練或微調前沿模型,併為使用者執行這些模型。這些叢集將補充傳統的 HPC 設定,後者負責建模和模擬工作負載,有時還會利用這些工作負載的資料來改進執行在神經網路上的機率模型。Cerebras 的 CS-4 正是瞄準了這一需求,儘管它並非 HPC 系統,但很可能與 HPC 工作負載並肩部署。