在 Hot Chips 2026 大會上，d-Matrix 展示了其新一代 Raptor 3D-DRAM 加速器，專為生成式 AI 推理設計。該方案的核心思路是放棄傳統的 HBM 記憶體，轉而將計算邏輯直接堆疊在 DRAM 晶片之上，以解決大模型推理中日益嚴峻的記憶體頻寬與功耗問題。
d-Matrix 指出，隨著模型權重不斷增長，KV 快取也隨上下文長度和批處理規模急劇膨脹。例如，64 個使用者同時使用 1M 上下文時，KV 快取可達約 935 GB。權重與快取共同構成了容量和頻寬的雙重挑戰，且兩方面都在持續增長。
在對比現有方案時，d-Matrix 認為 SRAM 雖能提供極高的頻寬，但容量過小。其 Corsair SRAM 加速卡對可提供約 300 TB/s 頻寬、延遲約 1 納秒，但容量僅約 4 GB。同時，6T SRAM 單元面積約為 DRAM 的 10 倍，在 GB 級容量下漏電功耗可達數十瓦，因此 SRAM 更適合作為投機解碼中的草稿模型，而非承載前沿模型權重。
HBM 則解決了容量問題，但頻寬受限。引腳速度和每基片 I/O 寬度提升緩慢，且堆疊層數受封裝面積限制，通常每封裝約 8-16 層。d-Matrix 援引資料稱，HBM4 封裝（如 NVIDIA Vera Rubin 和 AMD Instinct MI455）的實際頻寬上限約為 20 TB/s。此外，高頻寬帶來高功耗：在 2.4 pJ/bit 下，通過 HBM 傳輸 100 TB/s 資料，僅記憶體功耗就約 1.92 kW，尚未計入其他流量。
為此，d-Matrix 提出將計算直接堆疊在 DRAM 之上。這種 3D 堆疊面臨散熱和供電挑戰，但 d-Matrix 表示，採用 1-Hi 邏輯上堆疊、功率密度不超過 0.5 W/mm² 時，可通過液冷將 DRAM 溫度控制在 100°C 以下。在能量效率上，3D-DRAM 的垂直 I/O 能耗約為 0.3-0.4 pJ，比 HBM 低約 10 倍，因為其路徑為毫米級而非釐米級。
d-Matrix 將這一技術對映到 LLM 推理工作負載上。預填充階段並行處理大量 token，受計算吞吐限制；解碼階段逐 token 生成，通常受記憶體頻寬限制。由於解碼階段佔據大部分推理時間，提升解碼頻寬對整體效能至關重要。
Raptor 的具體實現是：在 3D DRAM 晶片上堆疊台積電 N4 邏輯晶片，採用 36 微米面對面堆疊工藝，d-Matrix 稱該工藝成熟、低成本、高產量。單卡 32GB，採用 4-bit 權重和 8-bit KV 快取，72 卡可承載 Kimi K3 等前沿模型，並支援 1M 上下文。
在系統整合方面，d-Matrix 面臨四個相互關聯的挑戰：bank 對映、I/O 功耗和熱可靠性。例如，每個張量引擎每次訪問需要 128B flit，但每個通道僅 3 個 bank，導致單次訪問返回 96B，傳輸 128B 需兩次訪問，浪費約 33% 的頻寬。d-Matrix 正在通過列交錯等技術最佳化。
總體而言，Raptor 展示了 3D-DRAM 在 AI 推理領域的潛力，但尚處於展示階段，實際量產和效能表現仍需觀察。