在 Hot Chips 2026 大會上，輝達硬體副總裁 Igor Arsovski 展示了其 Groq 3 LPX 機架的架構，並公佈了該硬體的首個第三方推理基準。Arsovski 曾是 Groq 的首席架構師，如今在輝達負責硬體業務。他展示的基準測試由 Artificial Analysis 完成，結果顯示，在 Gemma 4 31B 推理任務（上下文長度 100K）上，LPX 機架的輸出速度達到每秒 3431 token，約為其他最快公共端點的四倍（後者為每秒 870 token）。Arsovski 表示，該機架已投入生產，基於輝達在 2025 年 12 月以 200 億美元收購 Groq 交易中獲得的 LP30 晶片。這筆交易也使得被其取代的 Rubin CPX 從輝達的路線圖中消失。
LP30 晶片採用純 SRAM 設計，不帶 HBM，每個晶片集成了約 500MB 的片上 SRAM。一個完整的 LPX 機架包含 256 顆晶片，提供 128GB 記憶體、40 PB/s 的聚合頻寬和 315 PFLOPS 的 FP8 算力，晶片間延遲為 350 納秒。該機架採用 Vera Rubin 相容的 MGX 液冷設計，可擴充套件至超過 1000 個 LPU。將模型權重駐留在 SRAM 中而非從 HBM 流式載入，消除了單 token 解碼中佔主導地位的記憶體訪問延遲。該設計還去掉了快取、分支預測和亂序執行，採用完全確定性的流水線，由編譯器以時鐘週期粒度進行排程。
在基準測試中，Artificial Analysis 通過 Google Cloud 上的一個私有預釋出 Gemma 4 31B 端點運行了對比，採用併發為 1 的 50 次順序客戶端請求的中位數，而對比的公共提供商則執行共享的生產無伺服器端點。單請求模式能產生硬體可達到的最高每使用者 token 速率，與其他端點的多租戶條件不直接可比。輝達在台上演示的更高數字（每秒 10996 token）被 Arsovski 標記為“自我報告”，他表示目標是“第三方驗證的獨立基準，你們可以信任”。Gemma 4 31B 是一個稠密模型，足夠小，可以放入單個 LPX 機架，但萬億引數規模的混合專家模型（記憶體容量成為主要約束）的情況並未涉及。
輝達將 LPX 機架定位為解碼協處理器，與 Vera Rubin NVL72 配合使用，Rubin GPU 處理計算密集的預填充階段並構建 KV 快取，而 LPU 生成輸出 token。輝達展示了三種分工方式：分離式預填充和解碼；注意力-FFN 分離（注意力及其快取保留在 GPU HBM 上，LPU 執行前饋層）；以及外部草稿投機解碼（LPU 上的小模型提出 token，GPU 並行驗證）。一個 FPGA 橋接同步 LPU 域和非同步主機 I/O 及 GPU 交接，輝達的 Dynamo 執行時和 CUDA 的 LPU 擴充套件負責編排。輝達稱，在 2 萬億引數、400K token 快取上下文的負載下，這些模式相比單獨使用 Rubin 可帶來約 3 到 5 倍的效能提升，但這些資料均為輝達自測。
確定性執行還帶來功耗和散熱優勢：編譯器可逐週期預測功耗，輝達據此提前從機架穩壓器預取電流，將電壓跌落降低 60% 以上，過沖降低 70% 以上。同一排程機制還能均衡熱量，而非限制到最熱瓦片，Arsovski 稱在固定熱限制下可額外獲得約 10% 到 11% 的效能。跨機架時，輝達通過所謂的“準同步網路”將晶片同步到單一虛擬時鐘，每顆晶片既充當處理器又充當路由器，因此無需自適應路由或擁塞感知，晶片間時鐘漂移在鏈路層補償。
在問答環節，當被問及工作負載中途晶片故障的影響範圍時，Arsovski 表示使用者“會體驗到與業界任何其他硬體完全相同的體驗”，只需“檢查點或重新配置硬體”。
同一場 Hot Chips 會議上，Cerebras 也展示了其 CS4 晶圓級系統。首席系統架構師 Jean-Philippe Fricker 稱，CS4 的執行速度比 GPU 快 30 倍，token 速率是 CS3 的兩倍，token 容量是其 10 倍。每個 CS4 機架包含三個晶圓級引擎，採用名為 Nexus 的新模組化平台，圍繞可插拔計算“背包”構建，將電源、計算和 I/O 分離，Fricker 稱其記憶體頻寬為 43…（原文截斷）。