AMD在近日发布的一篇博客中表示,其AI系统能效较2024年已提升4倍,并重申到2030年将机架效率提高20倍的目标。这一进展主要得益于从传统GPU服务器向机架级系统的转变,以及软件栈和硬件设计的持续优化。
AMD在2024年开始量产其首款面向AI的数据中心GPU MI300X,该芯片功耗为750瓦,可提供高达2.6 petaFLOPS的密集FP8性能,当时在纸面上与英伟达的Hopper系列加速器竞争。此后,AMD通过支持4位浮点数据类型、采用新内存技术、提升互连速度以及转向全集成机架级系统,不断挖掘每瓦特FLOPS的性能。
AMD高级副总裁兼研究员Sam Naffziger去年曾表示,一个反直觉的现象是,设备越大,效率越高。上个月,AMD发布了其机架级计算平台Helios,该系统集成了72颗MI455X GPU。与MI300X相比,MI455X的浮点性能提升7.7至15.4倍,HBM容量增加2.25倍,内存速度提升4.4倍,芯片间互连带宽提升4倍。不过,该芯片的功耗也增加了超过3倍。AMD表示,最大的性能提升来自于如何在系统内高效扩展AI工作负载。
英伟达在2024年底率先采用机架级架构,推出了基于Grace Blackwell的NVL72系统,同样将72颗GPU集成在一个机架大小的系统中。英伟达CEO黄仁勋当时声称,与同等数量的Hopper GPU相比,GB200 NVL72机架在训练性能上提升4倍,推理性能提升30倍。
值得注意的是,AMD计算能效的方法与英伟达不同,它通过为训练和推理分别加权最大FLOPS、内存和互连带宽,而非基于实际应用性能进行比较。AMD的4倍提升也仅是估计值。首批Helios系统计划本季度出货,预计随后将公布MLPerf和InferenceX基准测试结果。
AMD表示,如果实现目标,两个Helios机架将能完成2024年需要570个机架才能完成的工作。更实际地说,在相同功耗下,客户将能部署20倍的计算能力。不过,这一前景也取决于AI需求是否持续增长。