亞馬遜雲科技(AWS)週一釋出了一款名為 TorchNeuron 的開發工具,目標是讓 AI 應用從輝達硬體遷移到亞馬遜自研晶片 Trainium 的過程變得足夠簡單。按照 AWS 的說法,開發者只需改動一行配置,就能讓用 PyTorch 編寫的 AI 應用在 Trainium 上執行,不需要重寫程式碼。
PyTorch 是一個免費的開源工具包,開發者用它來構建、訓練和執行 AI 模型。AWS 稱約 85% 的 AI 應用是用 PyTorch 寫的。該框架最初由 Facebook 開發,自 2022 年起歸入 Linux 基金會維護。輝達多年來投入大量資源,確保其 CUDA 軟體棧——也就是讓應用能在輝達 GPU 及其他硬體上執行的軟體基礎設施——能夠無縫支援 PyTorch 應用。結果是,輝達的硬體在事實上被深度嵌入這套工具包,幾乎成為預設選項。
TorchNeuron 從 PyTorch 改編而來,熟悉 PyTorch 的開發者可以直接上手。亞馬遜並非第一家嘗試把自家晶片接入這一平台的公司:PyTorch 使用者同樣可以通過簡單的配置改動,把應用遷移到 AMD 的 GPU 甚至 蘋果的晶片上。但亞馬遜強調,遷移到 Trainium 不只是容易,還能讓 AI 創業公司用上亞馬遜完整的雲服務。
AWS 方面認為,對創業公司而言,這比使用與輝達硬體繫結的新型雲服務商更合適,並點名了 Coreweave、Nebius 和 Firmus 等公司。AWS Annapurna Labs 技術軟體副總裁 Colin Brace 在郵件中表示,開發者是在 AWS 上構建業務,而不是押注於一家單一用途的算力供應商、再圍繞它去拼湊其他能力;在 AWS 上,從原型走向生產所需的基礎設施已經就位,創始人可以快速推進、按需擴充套件。
AWS 還稱,同一顆晶片同時承擔訓練(教模型學習)和推理(讓訓練好的模型實際回答問題)兩類任務,並且與創業公司所需的雲基礎設施緊密整合,因此能為客戶省錢——即便 AWS 並不提供最低的每 token 價格。Brace 表示,Trainium 的價值在於價效比,加上訓練與推理共用一個平台,從而改善整體工作負載的經濟性。他舉例說,AI 語音應用提供商 Deepgram 使用原生 PyTorch 支援遷移到 Trainium 後,在達到生產級準確率的前提下,每美元處理的音訊量提升了 70%。Deepgram 是 ElevenLabs 的競爭對手。
亞馬遜的意圖不止於給 PyTorch 開發者提供一個遷移到自家雲的便捷選項。公司還表示,正在推動 PyTorch 減少對輝達的自動傾斜,並將為此向 PyTorch 主專案貢獻程式碼。在釋出新工具的部落格文章中,亞馬遜寫道,其做法延伸到了自家硬體之外,公司正與 PyTorch 社群合作,向上遊提交改動,移除將框架與特定晶片繫結的程式碼,目標是讓 PyTorch 對整個開發者社群都更加硬體無關,而不只是服務 Trainium 使用者。
這一策略對銷售與輝達競爭硬體和雲服務的廠商無疑有利。但 PyTorch 的初衷之一,恰恰是替開發者隱藏讓 AI 程式碼在硬體上執行的各種麻煩。亞馬遜承諾的更多選擇和更可負擔的方案能否兌現,還是隻會帶來更多配置上的頭疼,仍有待觀察。無論如何,如果亞馬遜成功讓 PyTorch 與輝達深度解耦,對這家 GPU 巨頭的影響可能遠不止應對晶片層面的競爭者。正如 Brace 所說,真正的故事在於打破那種讓開發者根本無法做出真正選擇的鎖定。