在 Hot Chips 2026 大会上，微软对其第二代 AI 推理加速器 Maia 200 进行了迄今最详细的架构披露。该芯片于今年早些时候宣布，采用 台积电 3nm 工艺，拥有 1400 亿个晶体管，并计划部署于微软的 Azure 数据中心。这是继 Maia 100 之后的又一次迭代，微软在架构、内存、网络和软件层面进行了全面优化。
Maia 200 的芯片尺寸并非极致激进，但性能指标依然亮眼。其 TDP 为 750 瓦，搭配 6 组 HBM3e 内存，提供 7TB/s 的内存带宽。在算力方面，芯片的 FP4 性能达到 10,000 TFLOPS，SoC 裸片面积为 820 平方毫米。这些数字表明，Maia 200 定位为高能效的推理加速器，而非单纯追求峰值算力。
在架构设计上，微软采用了 SDLA（软件定义本地访问） 数据流架构。这一设计将数据流控制交由软件在编译时确定，从而实现了高度的确定性，并大幅减少了芯片内部的跨单元通信和带宽需求。微软将这一架构与 Flynn 经典分类法进行了类比，强调其数据访问的本地化特性。
芯片内部的计算核心由 tile 组成，每个 tile 包含 tile 张量单元（TTU）、tile 向量处理器（TVP） 以及 tile 控制处理器（TCP），并配有 TDMA 和 L1 缓存。内存采用分层结构，L1 和 L2 缓存位于主存之下，数据仅在需要时在层间移动。这种设计旨在优化推理工作负载，尤其是预填充和解码阶段的不同需求，以及混合专家模型带来的多样化计算模式。
网络方面，微软为 Maia 200 定制了 NIC 和互联协议，每个 SoC 拥有 8 条以太网通道，分为四个网络平面。系统采用 全连接四元拓扑，并强调芯片内及集群间的负载均衡。值得注意的是，Maia 200 没有独立的 scale-out 网络，全部采用 scale-up 网络，微软通过统一以太网实现了 128 个机架、6000 颗芯片的互联，并称这一选择带来了运营简化。
软件层面，微软不仅协同设计了芯片和系统，还构建了完整的软件栈，核心是 微软集合通信库（MCCL）。由于 SDLA 架构要求内核针对硬件进行调优，微软在演示中展示了批量 GEMM 和分布式 GEMM 等关键工作负载的处理流程，包括通过中央 GNOC 进行数据收集、从 HBM 加载权重以及将输出固定到 L1 SRAM 等。
Maia 200 的推出标志着微软在自研 AI 芯片道路上迈出坚实一步。作为超大规模云厂商，微软正通过定制硬件来优化推理成本与性能，减少对外部 GPU 供应商的依赖。尽管英伟达仍主导 AI 训练市场，但 Maia 200 的部署可能对 Azure 的推理服务成本和竞争力产生深远影响，也反映了整个行业向专用 AI 芯片多元化发展的趋势。