在今年的 Hot Chips 2026 大会上，AI 加速器开发商 SambaNova 带来了其最新一代可重构数据流单元（RDU）SN50 的详细技术介绍。SN50 于今年早些时候发布，是 SambaNova 第五代 RDU 产品。作为专用 AI 加速器领域的老牌厂商，SambaNova 借此机会阐述了 SN50 的架构设计、性能优势以及在当前竞争激烈的 AI 加速器市场中的定位。
SambaNova 的硬件在业内地位日益凸显，很大程度上得益于其与英特尔的紧密合作。英特尔自身在 AI 加速器领域仍在追赶，而 SambaNova 的 RDU 提供了高能效、低延迟的专用 AI 加速能力，补全了英特尔的硬件产品线。因此，SN50 以及未来 RDU 的进展不仅对 SambaNova 自身意义重大，对英特尔同样关键。
在演讲中，SambaNova 首先分析了当前热门的智能体推理（agentic inference）的执行时间分布。他们指出，大部分时间都花在解码（decode）阶段，尤其是在 DeepSeek V3 模型上，解码耗时占比高达 97%，而预填充（prefill）仅占 3%。解码过程受限于带宽，即使在大批量（large batch）场景下，每字节 FLOPS 比率也相当低。
SambaNova 提出了“模型带宽利用率”（Model Bandwidth Utilization, MBU）的概念，强调不仅要看 HBM 带宽的使用量，更要关注其中用于缓存和处理数据的比例。他们对比指出，即便是经过高度优化的 GPU 基准测试，GPU 的带宽利用率也较低；当 GPU 数量增加时，性能虽能提升，但 MBU 会显著下降。而前沿模型往往需要大规模扩展，这成为 GPU 的瓶颈。SambaNova 举例称，单个 GPU 的模型带宽大约能达到 30TB/秒，但难以突破这一水平。
SN50 的设计正是针对上述痛点。它继承了 SN40 的优点，如大容量片上 SRAM，同时将 FLOPS 提升至 SN40 的 5 倍，并支持扩展到 256 颗以上芯片的更大规模域。SN50 采用两个最大掩模版（max reticle）逻辑芯片加上 HBM 堆栈，没有独立的 I/O 芯片。值得注意的是，SN50 仍选用 HBM2e 内存，而该内存的生产已开始缩减，这可能成为未来的隐患。
在系统层面，单个风冷机架可容纳 16 颗 RDU，分为两个节点。SN50 的核心是计算核心（PCU）和内存核心（PMU）组成的“计算海洋”，没有硬件内存管理，全部由软件管理。每个单元在收到输入时运行，并将结果发送至输出端。SambaNova 展示了数据流架构如何映射到 Transformer 模型，并与 GPU 的实现方式进行对比。
在扩展性方面，SN50 同时采用纵向扩展（scale-up）和横向扩展（scale-out）网络：纵向扩展基于 800GbE，横向扩展基于 400GbE，另有前端网络。8 插槽配置采用全互联（all-to-all）拓扑；超过 8 插槽后，通过以太网交换机进行纵向扩展，在 64 芯片配置中，每个节点连接到两台交换机。进一步可扩展到 512 插槽的配置。SN50 支持所有形式的模型并行，其性能关键在于计算与通信的重叠。在 GEMM 基准测试中，即使在 32 插槽规模下，利用率也能稳定保持在 70% 以上。SambaNova 强调，这种计算与通信的重叠能力是 GPU 所不具备的。
总体而言，SambaNova 在 Hot Chips 2026 上展示了 SN50 在推理效率、带宽利用和扩展能力上的独特设计思路，其数据流架构为 AI 加速器市场提供了不同于 GPU 的另一种选择。随着与英特尔的合作加深，SN50 的后续发展值得持续关注。