亚马逊云科技(AWS)周一发布了一款名为 TorchNeuron 的开发工具,目标是让 AI 应用从英伟达硬件迁移到亚马逊自研芯片 Trainium 的过程变得足够简单。按照 AWS 的说法,开发者只需改动一行配置,就能让用 PyTorch 编写的 AI 应用在 Trainium 上运行,不需要重写代码。
PyTorch 是一个免费的开源工具包,开发者用它来构建、训练和运行 AI 模型。AWS 称约 85% 的 AI 应用是用 PyTorch 写的。该框架最初由 Facebook 开发,自 2022 年起归入 Linux 基金会维护。英伟达多年来投入大量资源,确保其 CUDA 软件栈——也就是让应用能在英伟达 GPU 及其他硬件上运行的软件基础设施——能够无缝支持 PyTorch 应用。结果是,英伟达的硬件在事实上被深度嵌入这套工具包,几乎成为默认选项。
TorchNeuron 从 PyTorch 改编而来,熟悉 PyTorch 的开发者可以直接上手。亚马逊并非第一家尝试把自家芯片接入这一平台的公司:PyTorch 用户同样可以通过简单的配置改动,把应用迁移到 AMD 的 GPU 甚至 苹果的芯片上。但亚马逊强调,迁移到 Trainium 不只是容易,还能让 AI 创业公司用上亚马逊完整的云服务。
AWS 方面认为,对创业公司而言,这比使用与英伟达硬件绑定的新型云服务商更合适,并点名了 Coreweave、Nebius 和 Firmus 等公司。AWS Annapurna Labs 技术软件副总裁 Colin Brace 在邮件中表示,开发者是在 AWS 上构建业务,而不是押注于一家单一用途的算力供应商、再围绕它去拼凑其他能力;在 AWS 上,从原型走向生产所需的基础设施已经就位,创始人可以快速推进、按需扩展。
AWS 还称,同一颗芯片同时承担训练(教模型学习)和推理(让训练好的模型实际回答问题)两类任务,并且与创业公司所需的云基础设施紧密集成,因此能为客户省钱——即便 AWS 并不提供最低的每 token 价格。Brace 表示,Trainium 的价值在于性价比,加上训练与推理共用一个平台,从而改善整体工作负载的经济性。他举例说,AI 语音应用提供商 Deepgram 使用原生 PyTorch 支持迁移到 Trainium 后,在达到生产级准确率的前提下,每美元处理的音频量提升了 70%。Deepgram 是 ElevenLabs 的竞争对手。
亚马逊的意图不止于给 PyTorch 开发者提供一个迁移到自家云的便捷选项。公司还表示,正在推动 PyTorch 减少对英伟达的自动倾斜,并将为此向 PyTorch 主项目贡献代码。在发布新工具的博客文章中,亚马逊写道,其做法延伸到了自家硬件之外,公司正与 PyTorch 社区合作,向上游提交改动,移除将框架与特定芯片绑定的代码,目标是让 PyTorch 对整个开发者社区都更加硬件无关,而不只是服务 Trainium 用户。
这一策略对销售与英伟达竞争硬件和云服务的厂商无疑有利。但 PyTorch 的初衷之一,恰恰是替开发者隐藏让 AI 代码在硬件上运行的各种麻烦。亚马逊承诺的更多选择和更可负担的方案能否兑现,还是只会带来更多配置上的头疼,仍有待观察。无论如何,如果亚马逊成功让 PyTorch 与英伟达深度解耦,对这家 GPU 巨头的影响可能远不止应对芯片层面的竞争者。正如 Brace 所说,真正的故事在于打破那种让开发者根本无法做出真正选择的锁定。