高通正在把它的机架级AI推理系统推向客户实测。该公司已通过Cirrascale Cloud Services向部分选定客户开放Dragonfly AI200的云端试用,并称客户可在Cirrascale的AI创新云上评估该系统,进而走向生产部署。Cirrascale还在11月17日至18日于芝加哥举行的SC26大会上展示了这套系统。

AI200是高通Dragonfly数据中心产品线的一员,同系列还包括AI250、AI300加速器和C1000服务器CPU。高通在6月的投资者日上阐述了这一更广泛的数据中心雄心。就硬件规格看,每张AI200加速卡搭载768GB LPDDR内存,一个液冷机架装56张卡,合计约43TB内存。高通称该系统可支持从70亿到10万亿参数的模型,覆盖长上下文、检索增强生成(RAG)和智能体类负载。

这条路线与英伟达形成鲜明对照。英伟达基于Blackwell的NVL72系统采用速度快但成本高昂的HBM3e堆叠内存,而高通选择的是更常见于移动设备的LPDDR。把大量内存塞进机架,并不必然意味着性能可以比肩英伟达——这一点此前已有讨论。高通的卖点在于,用其在高性能低功耗计算上的积累,围绕推理负载对性能、内存和成本的要求来设计架构,从而避免电力和运营开支成为瓶颈。

高通数据中心业务执行副总裁兼总经理Tony Pialis表示,AI推理正成为数据中心中规模最大、最重要的计算负载之一,行业需要更高效的方案。Cirrascale首席执行官Dave Driggers则称,客户需要能支撑日益复杂模型、又不让功耗和运营成本成为限制因素的规模化基础设施,与高通的合作让客户得以评估这一为下一代AI推理专门打造的新架构。

除硬件外,高通还提供自有的软件栈Dragonfly AI Infrastructure Management Suite,用于机架级部署的资源配置、监控、工作负载编排和故障处理。

从产业角度看,推理正取代训练成为数据中心算力消耗增长最快的部分,而电力供给和总拥有成本越来越成为客户选型的硬约束。高通以LPDDR换取容量与能效、以机架级方案切入,等于在英伟达主导的加速器市场之外开辟一条差异化路径;Cirrascale这类云服务商则充当了低门槛的验证入口。真正的考验在于,客户实测中这套系统能否在吞吐、延迟和单位推理成本上给出足以说服人的结果——这决定了高通能否把“更省电的推理”从口号变成可规模复制的生意,也牵动内存、液冷和云服务等上下游环节的走向。