Cerebras 本周正式发布新一代机架级 AI 系统 CS-4,集成三颗 WSE-3T 芯片,提供 750 PFLOPS 的 16 位 AI 算力与 129.6 PB/s 内存带宽。这家以晶圆级芯片著称的公司再次展示了其在 AI 算力领域的激进路线,但新系统明确不面向传统 HPC 工作负载。

CS-4 的核心是 Cerebras 的第三代晶圆级引擎 WSE-3T。每颗芯片包含 4 万亿晶体管90 万 AI 优化核心44GB SRAM。与上一代 WSE-3 相比,WSE-3T 将 16 位算力提升至 250 PFLOPS,内存带宽翻倍至 43.2 PB/s。三颗 WSE-3T 组合在一起,构成了 CS-4 的计算核心。

在应用层面,Cerebras 强调 CS-4 在 token 生成速度上的表现。公司表示,运行 OpenAIGPT-OSS-120B 模型时,CS-4 每用户每秒可生成 4,400 tokens,比最快的 GPU 方案快 30 倍。Cerebras 联合创始人兼 CEO Andrew Feldman 表示,速度就是 AI 的生产力,过去为了速度不得不使用更小、能力较弱的模型,而 CS-4 专为运行最大规模的模型设计,能在 10 万亿参数模型上实现每秒 1,000 tokens 的生成速度,并支持未来高达 50 万亿参数 的模型。

为了实现这种扩展能力,Cerebras 引入了新的机架级 Nexus 平台架构,并推出了可插拔的“计算背包”(compute backpack)设计。每个背包围绕 WSE-3T 芯片构建,集成了电源转换、液冷、高速 I/O 和控制电子元件。这种模块化设计简化了封装和制造,并提高了系统的可重复性。背包内还包含新的 I/O 子系统 Wafer I/O Module,提供两种连接方式:Direct Wafer Links 可实现晶圆到晶圆的直接连接,延迟低至 2 微秒,无需交换机;同时支持基于标准的 RoCE v2 RDMA 连接,使其能够接入包含其他 AI 加速器的异构数据中心。Cerebras 称,CS-4 的片外聚合带宽翻倍至每晶圆 2.4 Tb/s,每机架可达 7.2 Tb/s

将电源转换移至更靠近芯片的位置,减少了板级功耗,使 WSE-3T 能够获得两倍的功率,从而以更高频率运行,这也是算力翻倍的原因之一。CS-4 的设计目标是训练和运行前沿 AI 模型,其宣传的性能指标主要基于 16 位精度。对于许多需要双精度 FP64 能力的传统 HPC 工作负载,这并不适用。Cerebras 明确表示,这不是为这类应用设计的机器。

尽管如此,CS-4 仍可能在超级计算中心找到一席之地。随着先进计算社区拥抱 AI,他们需要更大、更快的集群来训练或微调前沿模型,并为用户运行这些模型。这些集群将补充传统的 HPC 设置,后者负责建模和模拟工作负载,有时还会利用这些工作负载的数据来改进运行在神经网络上的概率模型。Cerebras 的 CS-4 正是瞄准了这一需求,尽管它并非 HPC 系统,但很可能与 HPC 工作负载并肩部署。