輝達投資組合公司 Saturn Cloud 於 8 月 12 日宣佈,已將 NVIDIA DSX OS 整合至其 AI Token 工廠平台,為 neocloud 運營商提供將輝達基礎設施轉化為按 token 計量、可銷售服務的方案。該整合平台現已可供 AI 雲運營商評估。

Saturn Cloud 將 NVIDIA DSX OS(提供推理服務、排程和叢集運維)與其自身的租戶管理、計量和計費層打包,使 neocloud 運營商無需自行組裝技術棧,即可在輝達基礎設施上執行生產級推理服務。這一整合旨在解決 neocloud 運營商在商業化過程中面臨的關鍵問題:如何將服務 token 轉化為可定價、可銷售的商品。

在服務層面,Saturn Cloud 執行 NVIDIA Dynamo 作為分散式推理和服務層,支援預填充與解碼分離,且 Dynamo 與引擎無關,可驅動 vLLM、SGLang 或 TensorRT-LLM 作為底層服務引擎。NVIDIA Grove 負責編排多節點工作負載,排程由 NVIDIA KAI Scheduler 執行,支援 GPU 感知的作業放置、GPU 分片以及跨租戶配額管理。NVIDIA Fleet Intelligence 和 NVSentinel 則負責叢集健康監控與故障檢測。運營商可同時服務 NVIDIA Nemotron 模型以及其他開源和合作夥伴模型。

Saturn Cloud 創始人 Sebastian Metti 表示,NVIDIA DSX OS 為 AI 雲運營商提供了強大的模型服務基礎,而 Saturn Cloud 則補充了將其轉化為可銷售服務的關鍵環節,使運營商能夠向客戶銷售服務,而不僅僅是出租 GPU 小時。

在運營層面,Saturn Cloud 在單一、生產級、版本化且受管理的控制平面上執行運營商的開源和合作夥伴模型。客戶可在運營商自己的基礎設施上進行微調,並將結果與基礎模型一同服務,無需額外搭建訓練棧。運營商可根據工作負載需求,選擇專用單租戶隔離或共享多租戶以提高密度,Saturn Cloud 均負責處理租戶邊界、配額和按租戶計量。資料和推理保持在運營商邊界內,滿足受監管客戶的安全和治理要求。

Saturn Cloud 可部署於公有云、私有云和本地環境,並可在運營商擁有的任何輝達 AI 基礎設施上執行,包括採用 NVIDIA DSX 平台棧的 neocloud。對於電信運營商、主權 AI 雲和企業運營商,其模式相同:輝達工具負責服務 token,Saturn Cloud 負責生產工程,將其轉化為可執行、可銷售的服務。

輝達產品管理副總裁 Warren Barkley 表示,AI 工廠正在進入生產階段,運營商尋求通過增值服務擴充套件其產品。Saturn Cloud 與 NVIDIA DSX OS 的整合,包括按 token 計量和租戶計費,為客戶提供了所需的 AI 生產就緒服務,而無需自行組裝和整合技術棧的複雜性。

Saturn Cloud 定位為面向 AI 雲和企業的 AI Token 工廠平台,將 GPU 基礎設施轉化為用於微調、模型服務和按 token 計費的託管服務,內建企業安全與治理,覆蓋公有、私有和本地環境。此次整合有望降低 neocloud 運營商進入生產級推理服務的門檻,推動 AI 基礎設施服務向更精細化的計量和計費模式演進。