在 Hot Chips 2026 大會上，微軟對其第二代 AI 推理加速器 Maia 200 進行了迄今最詳細的架構披露。該晶片於今年早些時候宣佈，採用 台積電 3nm 工藝，擁有 1400 億個電晶體，並計劃部署於微軟的 Azure 資料中心。這是繼 Maia 100 之後的又一次迭代，微軟在架構、記憶體、網路和軟體層面進行了全面最佳化。
Maia 200 的晶片尺寸並非極致激進，但效能指標依然亮眼。其 TDP 為 750 瓦，搭配 6 組 HBM3e 記憶體，提供 7TB/s 的記憶體頻寬。在算力方面，晶片的 FP4 效能達到 10,000 TFLOPS，SoC 裸片面積為 820 平方毫米。這些數字表明，Maia 200 定位為高能效的推理加速器，而非單純追求峰值算力。
在架構設計上，微軟採用了 SDLA（軟體定義本地訪問） 資料流架構。這一設計將資料流控制交由軟體在編譯時確定，從而實現了高度的確定性，並大幅減少了晶片內部的跨單元通訊和頻寬需求。微軟將這一架構與 Flynn 經典分類法進行了類比，強調其資料訪問的本地化特性。
晶片內部的計算核心由 tile 組成，每個 tile 包含 tile 張量單元（TTU）、tile 向量處理器（TVP） 以及 tile 控制處理器（TCP），並配有 TDMA 和 L1 快取。記憶體採用分層結構，L1 和 L2 快取位於主存之下，資料僅在需要時在層間移動。這種設計旨在最佳化推理工作負載，尤其是預填充和解碼階段的不同需求，以及混合專家模型帶來的多樣化計算模式。
網路方面，微軟為 Maia 200 定製了 NIC 和互聯協議，每個 SoC 擁有 8 條乙太網路通道，分為四個網路平面。系統採用 全連線四元拓撲，並強調晶片內及叢集間的負載均衡。值得注意的是，Maia 200 沒有獨立的 scale-out 網路，全部採用 scale-up 網路，微軟通過統一乙太網路實現了 128 個機架、6000 顆晶片的互聯，並稱這一選擇帶來了運營簡化。
軟體層面，微軟不僅協同設計了晶片和系統，還構建了完整的軟體棧，核心是 微軟集合通訊庫（MCCL）。由於 SDLA 架構要求核心針對硬體進行調優，微軟在演示中展示了批次 GEMM 和分散式 GEMM 等關鍵工作負載的處理流程，包括通過中央 GNOC 進行資料收集、從 HBM 載入權重以及將輸出固定到 L1 SRAM 等。
Maia 200 的推出標誌著微軟在自研 AI 晶片道路上邁出堅實一步。作為超大規模雲廠商，微軟正通過定製硬體來最佳化推理成本與效能，減少對外部 GPU 供應商的依賴。儘管輝達仍主導 AI 訓練市場，但 Maia 200 的部署可能對 Azure 的推理服務成本和競爭力產生深遠影響，也反映了整個行業向專用 AI 晶片多元化發展的趨勢。