在今年的 Hot Chips 2026 大會上，AI 加速器開發商 SambaNova 帶來了其最新一代可重構資料流單元（RDU）SN50 的詳細技術介紹。SN50 於今年早些時候釋出，是 SambaNova 第五代 RDU 產品。作為專用 AI 加速器領域的老牌廠商，SambaNova 藉此機會闡述了 SN50 的架構設計、效能優勢以及在當前競爭激烈的 AI 加速器市場中的定位。
SambaNova 的硬體在業內地位日益凸顯，很大程度上得益於其與英特爾的緊密合作。英特爾自身在 AI 加速器領域仍在追趕，而 SambaNova 的 RDU 提供了高能效、低延遲的專用 AI 加速能力，補全了英特爾的硬體產品線。因此，SN50 以及未來 RDU 的進展不僅對 SambaNova 自身意義重大，對英特爾同樣關鍵。
在演講中，SambaNova 首先分析了當前熱門的智慧體推理（agentic inference）的執行時間分佈。他們指出，大部分時間都花在解碼（decode）階段，尤其是在 DeepSeek V3 模型上，解碼耗時佔比高達 97%，而預填充（prefill）僅佔 3%。解碼過程受限於頻寬，即使在大批次（large batch）場景下，每位元組 FLOPS 比率也相當低。
SambaNova 提出了“模型頻寬利用率”（Model Bandwidth Utilization, MBU）的概念，強調不僅要看 HBM 頻寬的使用量，更要關注其中用於快取和處理資料的比例。他們對比指出，即便是經過高度最佳化的 GPU 基準測試，GPU 的頻寬利用率也較低；當 GPU 數量增加時，效能雖能提升，但 MBU 會顯著下降。而前沿模型往往需要大規模擴充套件，這成為 GPU 的瓶頸。SambaNova 舉例稱，單個 GPU 的模型頻寬大約能達到 30TB/秒，但難以突破這一水平。
SN50 的設計正是針對上述痛點。它繼承了 SN40 的優點，如大容量片上 SRAM，同時將 FLOPS 提升至 SN40 的 5 倍，並支援擴充套件到 256 顆以上晶片的更大規模域。SN50 採用兩個最大掩模版（max reticle）邏輯晶片加上 HBM 堆疊，沒有獨立的 I/O 晶片。值得注意的是，SN50 仍選用 HBM2e 記憶體，而該記憶體的生產已開始縮減，這可能成為未來的隱患。
在系統層面，單個風冷機架可容納 16 顆 RDU，分為兩個節點。SN50 的核心是計算核心（PCU）和記憶體核心（PMU）組成的“計算海洋”，沒有硬體記憶體管理，全部由軟體管理。每個單元在收到輸入時執行，並將結果傳送至輸出端。SambaNova 展示了資料流架構如何對映到 Transformer 模型，並與 GPU 的實現方式進行對比。
在擴充套件性方面，SN50 同時採用縱向擴充套件（scale-up）和橫向擴充套件（scale-out）網路：縱向擴充套件基於 800GbE，橫向擴充套件基於 400GbE，另有前端網路。8 插槽配置採用全互聯（all-to-all）拓撲；超過 8 插槽後，通過乙太網路交換機進行縱向擴充套件，在 64 晶片配置中，每個節點連線到兩台交換機。進一步可擴充套件到 512 插槽的配置。SN50 支援所有形式的模型並行，其效能關鍵在於計算與通訊的重疊。在 GEMM 基準測試中，即使在 32 插槽規模下，利用率也能穩定保持在 70% 以上。SambaNova 強調，這種計算與通訊的重疊能力是 GPU 所不具備的。
總體而言，SambaNova 在 Hot Chips 2026 上展示了 SN50 在推理效率、頻寬利用和擴充套件能力上的獨特設計思路，其資料流架構為 AI 加速器市場提供了不同於 GPU 的另一種選擇。隨著與英特爾的合作加深，SN50 的後續發展值得持續關注。