Meta 於 10 月 20 日通過官方部落格首次系統披露了其位於俄亥俄州新奧爾巴尼的 Prometheus 超級叢集的架構細節。該叢集被用於訓練 Meta 最新的 Muse 系列 AI 模型，其設計目標是在成本不構成約束的條件下，探索高效能運算（HPC）在超大規模 AI 訓練中的演進路徑。

Prometheus 並非單一叢集，而是由多個獨立叢集整合而成，以協同處理大規模訓練任務。目前投入執行的兩大主力叢集分別是基於輝達 Grace Blackwell 平台的 Catalina 和 Clemente，第三個基於輝達 Vera Rubin 晶片的叢集 San Miguel 也即將加入。

Catalina 採用輝達 GB200 晶片與 NVL72 架構。Meta 自行設計了一種名為 Ariel 的雙機架配置，每個機架內 36 塊 GPU 通過 NVLink 互聯，形成統一的 72 GPU 域。對於每顆包含 Grace CPU 和 Blackwell GPU 的 GB200 超級晶片，Meta 配置了兩塊 ConnectX-7 400G 網絡卡，使每塊 GPU 獲得 800G 的 I/O 頻寬。Meta 工程師在部落格中稱，這一部署節奏“早於行業其他公司”。

Clemente 同樣基於 NVL72 縱向擴充套件架構，但換用輝達 GB300（Blackwell Ultra）晶片。相比 GB200，GB300 的 HBM 容量提升 50%，FP4 算力大致持平。即將上線的 San Miguel 則將採用 Vera Rubin NVL72，Meta 預計其每瓦效能將比 GB300 NVL72 提升 10% 至 20%。由於選用了輝達 ConnectX-8 SuperNIC（原生提供每 GPU 800G 頻寬），Meta 得以採用 2:1 的 GPU 與 CPU 配比，從而在單個 NVL72 機架內裝滿 72 塊 GPU，而不必像 Catalina 那樣將 GPU 拆分到兩個機架。

在網路層面，Catalina 和 Clemente 通過基於乙太網路的互聯架構連線，可支援多達 20,736 塊 GPU 通過高頻寬、低延遲的多層拓撲協同工作。第一代網路架構採用分離式排程架構（DSF），利用子資料包級多路徑路由與資料包重排序，配合虛擬輸出佇列和基於信用的端到端流控來緩解擁塞。第二代則轉向非排程架構（NSF），基於淺緩衝 51.2T 乙太網路交換機實現動態負載均衡，包括 Meta 設計、Celestica 製造的第三代交換機 Minipack3，以及 Meta 設計、Accton 製造的 Minipack3N——後者基於輝達 Spectrum-4 交換 ASIC，並集成了輝達的自適應路由技術。兩代架構均執行在 Meta 自研的 FBOSS 網路棧之上，使團隊能夠快速迭代和最佳化網路架構，並獲得大規模運維所需的可見性。

此外，Prometheus 還包含一個後端聚合網路（BAG），採用多層 hub-and-spoke 拓撲，連線相距 2 公里至 100 公里的叢集。該網路基於 Arista 7800 系列機箱，搭載深緩衝的 博通 Jericho3 晶片，每個區域對可提供數 Pbps 的頻寬。Meta 表示，在此網路上執行預訓練需要與 Meta Superintelligence Labs 合作進行專門最佳化，以確保訓練速度不受距離帶來的光速限制影響。

整體而言，Meta 的網路由數百萬英里光纖、數萬台交換機以及數百萬個光模組構成。從 NVL8 升級到 NVL72 大幅提升了縱向擴充套件叢集的規模，使單次訓練能在記憶體中保留更多資料並維持張量並行，但同時也將硬體故障的“爆炸半徑”擴大了 9 倍。為緩解故障影響，Meta 在每個 NVL72 域中保留 8 塊 GPU 離線作為熱備。一旦 64 塊工作 GPU 中有任何一塊失效，熱備 GPU 立即頂替，任務從最近檢查點重啟。機架層面同樣保留 2% 的機架作為熱備。Meta 舉例稱，一個 32,768 塊活躍 GPU 的訓練任務需要配置 523 個 NVL72 機架、共 37,656 塊 GPU，比活躍用量高出約 13%；其中大部分（11%）來自 64/72 的切片幾何結構，而非絕對的可靠性成本。

在晶片級訊號完整性方面，單個 NVL72 域包含 5,184 條工作在 200 Gbps 的調諧差分對訊號鏈路，每條鏈路都經過 GPU SerDes、計算托盤 PCB、線纜盒和交換機托盤介面等多個潛在故障點。Meta 稱，在這種密度下以每通道 200 Gbps 維持一致訊號完整性，是“前所未有的工程挑戰”。為此 Meta 部署了兩套故障恢復機制：並行感知容錯（PAFT）在故障可隔離到某個資料並行模型副本時啟用；分散式檢查點則在無法隔離時啟用。

Meta 透露，自 2025 年中開始部署 Prometheus 以來，故障率已顯著下降。初期每 8,000 塊 GPU 每天經歷近 1,000 次故障，此後中斷次數已減少 99%，並仍在持續改善。這一披露為外界觀察超大規模 AI 訓練叢集在晶片迭代、網路自研與容錯工程上的實際進展提供了罕見的一手材料。