在 Hot Chips 2026 大會上，AI 晶片初創公司 d-Matrix 展示了其最新加速器 Raptor，宣稱這是業界首款面向生成式推理的 3D DRAM 加速器。該晶片將台積電 4nm 工藝的計算晶片與定製 DRAM 芯片面對面鍵合，間距僅 36 微米，單卡 32GB 容量下可實現 100 TB/s 的頻寬。這一設計顛覆了傳統 3D 堆疊方式，將邏輯晶片置於頂部、DRAM 置於底部，冷板直接接觸計算晶片，DRAM 晶片同時充當中介層，通過矽通孔（TSV）傳輸 PCIe 和晶片間訊號。
d-Matrix 聯合創始人兼技術長 Sudeep Bhoja 在會議上表示，垂直介面的能耗僅為 0.37 pJ/bit，而相比之下，資料進入 HBM4 基底晶片的能耗約為 2.4 pJ/bit。他稱這是來自工作矽片的“實測資料”。與英屬哥倫比亞大學合作撰寫的 ISCA 2026 論文預測，Raptor 的單卡吞吐量約為基於 HBM 設計的 4.7 倍。不過，Bhoja 並未透露 DRAM 晶片的製造商。
CEO Sid Sheth 曾在 6 月對 CNBC 表示，Raptor 計劃於 2027 年 推出，但 Hot Chips 上並未給出確切日期、產量或定價資訊。所有展示的效能資料，包括在 2.8 萬億引數的 Kimi K3 模型、100 萬 token 上下文下每使用者每秒生成 988 個 token，均為基於早期矽片的 d-Matrix 預測。
Raptor 的定製 DRAM 晶片每 chiplet 包含 840 個 bank，其中約 9% 為備用 bank，通過稱為“bank chaining”的兩級多路複用鏈連線，可替換任意兩個故障 bank。邏輯晶片上的 [132,128] Reed-Solomon 碼可糾正每 128 位元組中的兩個符號錯誤，並輔以 CRC 校驗。介面沒有 PHY、突發結構或邊帶引腳，因此無法使用傳統的資料匯流排反轉（DBI）技術；d-Matrix 改為比較每個 128 位元組 flit 與前一個 flit，並存儲 1 位反轉標記，從而恢復了 DBI 本可節省的約 20% I/O 功耗。在滿負荷執行時，垂直介面仍消耗每封裝預算 422W 中的 296W。
儘管技術指標亮眼，Raptor 的量產前景存在不確定性。d-Matrix 已確認台積電為其 N4P 邏輯晶片代工，Alchip 負責 ASIC 設計和 2.5D/3D 封裝，但兩家公司均不運營 DRAM 晶圓廠。自去年 9 月 Pavehawk 3DIMC 測試矽片上線以來，d-Matrix 從未公開其定製 DRAM 的製造商。全球領先的 DRAM 廠商僅有三家，且都在將產能分配給 HBM4 產線，這些產線到 2026 年已基本售罄。摩根大通估計，DRAM 價格從 2024 年初到 2026 年底將上漲超過 400%；分析師記錄 2026 年第一季度合約價漲幅達 90% 至 95%。SK 海力士 CEO Kwak Noh-jung 在 7 月對路透社表示，“客戶需求將超過我們的供應能力，甚至持續到 2030 年之後”。輝達作為記憶體廠商最大客戶，據報道正在測試僅 192GB 的 Rubin Ultra 配置，因為可能無法獲得足夠的 HBM4E。
d-Matrix 是一家融資約 4.5 億美元 的初創公司，要求記憶體廠商在原本可生產 HBM 的產能上執行非標準 bank 幾何形狀的定製晶片，談判地位相對較弱。在供應商未公開之前，Raptor 的 2027 年量產計劃完全依賴這一未知的依賴關係。
此外，Raptor 的 DRAM 密度為 11.4 MB/mm²，約為 HBM4 的 21.9 至 26.3 MB/mm² 的一半。Bhoja 在問答環節承認：“我們使用的不太先進的 DRAM 導致密度下降。如果我們採用更主流的 DRAM，就像 HBM4 廠商那樣，我們幾乎可以提升到 HBM4 的水平。”
Raptor 單卡 32GB 的容量遠低於 HBM4 加速器的 192GB 至 288GB，因此 d-Matrix 將部署規模定位於機架級：72 張卡可提供 2.3TB 容量，足以在 4 位精度下容納 Kimi K3 的權重，並支援約 54 個併發使用者（1M 上下文）。Bhoja 表示：“即使只有 32GB 記憶體容量，我們也能在 scale-up 網路中解決 SOTA 模型，不會浪費任何位元。”然而，KV 快取增長會隨時間影響這一計算。聯合演講者 Aayush Ankit 指出，一旦模型和上下文無法裝入單個機架，推理將溢位到卡間同步，通訊將成為瓶頸。
總體而言，Raptor 展示了 3D DRAM 在推理加速中的潛力，但其量產依賴未公開的 DRAM 供應商，且面臨 HBM 生態的激烈競爭，實際落地仍存變數。