Meta 于 10 月 20 日通过官方博客首次系统披露了其位于俄亥俄州新奥尔巴尼的 Prometheus 超级集群的架构细节。该集群被用于训练 Meta 最新的 Muse 系列 AI 模型，其设计目标是在成本不构成约束的条件下，探索高性能计算（HPC）在超大规模 AI 训练中的演进路径。

Prometheus 并非单一集群，而是由多个独立集群整合而成，以协同处理大规模训练任务。目前投入运行的两大主力集群分别是基于英伟达 Grace Blackwell 平台的 Catalina 和 Clemente，第三个基于英伟达 Vera Rubin 芯片的集群 San Miguel 也即将加入。

Catalina 采用英伟达 GB200 芯片与 NVL72 架构。Meta 自行设计了一种名为 Ariel 的双机架配置，每个机架内 36 块 GPU 通过 NVLink 互联，形成统一的 72 GPU 域。对于每颗包含 Grace CPU 和 Blackwell GPU 的 GB200 超级芯片，Meta 配置了两块 ConnectX-7 400G 网卡，使每块 GPU 获得 800G 的 I/O 带宽。Meta 工程师在博客中称，这一部署节奏“早于行业其他公司”。

Clemente 同样基于 NVL72 纵向扩展架构，但换用英伟达 GB300（Blackwell Ultra）芯片。相比 GB200，GB300 的 HBM 容量提升 50%，FP4 算力大致持平。即将上线的 San Miguel 则将采用 Vera Rubin NVL72，Meta 预计其每瓦性能将比 GB300 NVL72 提升 10% 至 20%。由于选用了英伟达 ConnectX-8 SuperNIC（原生提供每 GPU 800G 带宽），Meta 得以采用 2:1 的 GPU 与 CPU 配比，从而在单个 NVL72 机架内装满 72 块 GPU，而不必像 Catalina 那样将 GPU 拆分到两个机架。

在网络层面，Catalina 和 Clemente 通过基于以太网的互联架构连接，可支持多达 20,736 块 GPU 通过高带宽、低延迟的多层拓扑协同工作。第一代网络架构采用分离式调度架构（DSF），利用子数据包级多路径路由与数据包重排序，配合虚拟输出队列和基于信用的端到端流控来缓解拥塞。第二代则转向非调度架构（NSF），基于浅缓冲 51.2T 以太网交换机实现动态负载均衡，包括 Meta 设计、Celestica 制造的第三代交换机 Minipack3，以及 Meta 设计、Accton 制造的 Minipack3N——后者基于英伟达 Spectrum-4 交换 ASIC，并集成了英伟达的自适应路由技术。两代架构均运行在 Meta 自研的 FBOSS 网络栈之上，使团队能够快速迭代和优化网络架构，并获得大规模运维所需的可见性。

此外，Prometheus 还包含一个后端聚合网络（BAG），采用多层 hub-and-spoke 拓扑，连接相距 2 公里至 100 公里的集群。该网络基于 Arista 7800 系列机箱，搭载深缓冲的 博通 Jericho3 芯片，每个区域对可提供数 Pbps 的带宽。Meta 表示，在此网络上运行预训练需要与 Meta Superintelligence Labs 合作进行专门优化，以确保训练速度不受距离带来的光速限制影响。

整体而言，Meta 的网络由数百万英里光纤、数万台交换机以及数百万个光模块构成。从 NVL8 升级到 NVL72 大幅提升了纵向扩展集群的规模，使单次训练能在内存中保留更多数据并维持张量并行，但同时也将硬件故障的“爆炸半径”扩大了 9 倍。为缓解故障影响，Meta 在每个 NVL72 域中保留 8 块 GPU 离线作为热备。一旦 64 块工作 GPU 中有任何一块失效，热备 GPU 立即顶替，任务从最近检查点重启。机架层面同样保留 2% 的机架作为热备。Meta 举例称，一个 32,768 块活跃 GPU 的训练任务需要配置 523 个 NVL72 机架、共 37,656 块 GPU，比活跃用量高出约 13%；其中大部分（11%）来自 64/72 的切片几何结构，而非绝对的可靠性成本。

在芯片级信号完整性方面，单个 NVL72 域包含 5,184 条工作在 200 Gbps 的调谐差分对信号链路，每条链路都经过 GPU SerDes、计算托盘 PCB、线缆盒和交换机托盘接口等多个潜在故障点。Meta 称，在这种密度下以每通道 200 Gbps 维持一致信号完整性，是“前所未有的工程挑战”。为此 Meta 部署了两套故障恢复机制：并行感知容错（PAFT）在故障可隔离到某个数据并行模型副本时启用；分布式检查点则在无法隔离时启用。

Meta 透露，自 2025 年中开始部署 Prometheus 以来，故障率已显著下降。初期每 8,000 块 GPU 每天经历近 1,000 次故障，此后中断次数已减少 99%，并仍在持续改善。这一披露为外界观察超大规模 AI 训练集群在芯片迭代、网络自研与容错工程上的实际进展提供了罕见的一手材料。