高通与亚马逊于9月8日宣布,双方将合作为亚马逊数据中心联合开发多代AI加速器,并围绕1.6T光网络技术展开合作,涉及高通芯片级SerDes与光数字信号处理(DSP)技术。双方联合公告未披露太多细节,但一份提交给美国证券交易委员会的8-K文件显示,作为交易的一部分,亚马逊获得了一份可购买高通最多60亿美元股票的权证。

这一合作是高通将其在移动芯片领域积累的低功耗、高热约束下榨取性能的经验,迁移到数据中心AI推理场景的最新尝试。高通数据中心CPU与AI业务副总裁兼总经理Gerardo Giaretta此前在接受HPCwire采访时表示,市场正从以训练为主转向以推理为主,推理如同一座「token工厂」,核心效率指标是每瓦token或每美元token。他认为,推理架构与训练架构不同,需要将各组成部分解耦、运行在最高效的硬件上,这也是英伟达收购Groq、AMD收购Taalas并与Cerebras合作背后的逻辑。

高通当前推进的重点是约一年前发布的第一代AI200AI250加速器。AI200已开始送样,AI250计划明年送样。两者均为PCIe-6卡形态,配备768GB内存,单机架最多可容纳56张卡,总内存最高达43TB,足以运行70亿至100亿参数级别的AI模型。这些卡通过以太网进行横向扩展,功耗在140W至160W之间,采用直接液冷。两者的核心差异在内存:AI200使用LPDDR5,AI250则采用高通的高带宽计算(HBC)技术。

HBC采用一种新颖的内存堆叠方式,据高通称可将内存带宽提升16倍,单卡有效内存带宽达133TB/秒,且仍基于LPDDR5内存。Giaretta用高速公路作比喻:数据流量增加时,加车道终有极限,而HBC的做法是把内存与计算封装在一起,将计算单元置于内存堆栈之下,相当于不必再上高速通勤,直接在地下室办公。这种垂直堆叠方式还释放了处理器边缘,用于更多I/O、SerDes和芯粒架构所需的裸片间(D2D)接口。Giaretta称,相比传统HBM方案,该架构在能效、性能和成本上都有显著优势。

下一代AI300将采用PCIe-7卡形态以及机架式服务器,搭载高通HBC Gen 2技术,内存带宽据称可达AI200的54倍。高通表示,HBC Gen 2在机架层面相较基于SRAM的方案(如Cerebras和Groq)可提供200倍的每瓦容量,在卡层面相较HBM可提供最高6倍的每瓦带宽。AI300将支持UALinkESUN进行纵向扩展,并通过铜缆和光连接横向扩展,计划2028年开始送样。

同期发布的还有Dragonfly C1000 CPU,定位数据中心CPU,面向智能体、通用及AI头节点工作负载,据高通称具备领先的能效。该芯片将集成250个以上Oryon核心,运行频率5GHz,采用芯粒架构,支持PCIe Gen 7CXL连接,并可选配HBC附加点以扩展内存。这款符合OCP ORv3规范的产品预计2028年商用。

从产业角度看,亚马逊通过权证方式与高通绑定,延续了超大规模云厂商以资本手段锁定芯片供给、推动供应商多元化的做法。对高通而言,这是其从移动端向数据中心AI推理市场延伸的关键一步,能否在英伟达主导的加速器市场中凭借能效与成本优势切出一块份额,将取决于AI250及后续AI300的实际落地表现。