英伟达投资组合公司 Saturn Cloud 于 8 月 12 日宣布,已将 NVIDIA DSX OS 集成至其 AI Token 工厂平台,为 neocloud 运营商提供将英伟达基础设施转化为按 token 计量、可销售服务的方案。该集成平台现已可供 AI 云运营商评估。
Saturn Cloud 将 NVIDIA DSX OS(提供推理服务、调度和集群运维)与其自身的租户管理、计量和计费层打包,使 neocloud 运营商无需自行组装技术栈,即可在英伟达基础设施上运行生产级推理服务。这一整合旨在解决 neocloud 运营商在商业化过程中面临的关键问题:如何将服务 token 转化为可定价、可销售的商品。
在服务层面,Saturn Cloud 运行 NVIDIA Dynamo 作为分布式推理和服务层,支持预填充与解码分离,且 Dynamo 与引擎无关,可驱动 vLLM、SGLang 或 TensorRT-LLM 作为底层服务引擎。NVIDIA Grove 负责编排多节点工作负载,调度由 NVIDIA KAI Scheduler 执行,支持 GPU 感知的作业放置、GPU 分片以及跨租户配额管理。NVIDIA Fleet Intelligence 和 NVSentinel 则负责集群健康监控与故障检测。运营商可同时服务 NVIDIA Nemotron 模型以及其他开源和合作伙伴模型。
Saturn Cloud 创始人 Sebastian Metti 表示,NVIDIA DSX OS 为 AI 云运营商提供了强大的模型服务基础,而 Saturn Cloud 则补充了将其转化为可销售服务的关键环节,使运营商能够向客户销售服务,而不仅仅是出租 GPU 小时。
在运营层面,Saturn Cloud 在单一、生产级、版本化且受管理的控制平面上运行运营商的开源和合作伙伴模型。客户可在运营商自己的基础设施上进行微调,并将结果与基础模型一同服务,无需额外搭建训练栈。运营商可根据工作负载需求,选择专用单租户隔离或共享多租户以提高密度,Saturn Cloud 均负责处理租户边界、配额和按租户计量。数据和推理保持在运营商边界内,满足受监管客户的安全和治理要求。
Saturn Cloud 可部署于公有云、私有云和本地环境,并可在运营商拥有的任何英伟达 AI 基础设施上运行,包括采用 NVIDIA DSX 平台栈的 neocloud。对于电信运营商、主权 AI 云和企业运营商,其模式相同:英伟达工具负责服务 token,Saturn Cloud 负责生产工程,将其转化为可运行、可销售的服务。
英伟达产品管理副总裁 Warren Barkley 表示,AI 工厂正在进入生产阶段,运营商寻求通过增值服务扩展其产品。Saturn Cloud 与 NVIDIA DSX OS 的集成,包括按 token 计量和租户计费,为客户提供了所需的 AI 生产就绪服务,而无需自行组装和集成技术栈的复杂性。
Saturn Cloud 定位为面向 AI 云和企业的 AI Token 工厂平台,将 GPU 基础设施转化为用于微调、模型服务和按 token 计费的托管服务,内置企业安全与治理,覆盖公有、私有和本地环境。此次集成有望降低 neocloud 运营商进入生产级推理服务的门槛,推动 AI 基础设施服务向更精细化的计量和计费模式演进。