在 Hot Chips 2026 大会上，AI 芯片初创公司 d-Matrix 展示了其最新加速器 Raptor，宣称这是业界首款面向生成式推理的 3D DRAM 加速器。该芯片将台积电 4nm 工艺的计算芯片与定制 DRAM 芯片面对面键合，间距仅 36 微米，单卡 32GB 容量下可实现 100 TB/s 的带宽。这一设计颠覆了传统 3D 堆叠方式，将逻辑芯片置于顶部、DRAM 置于底部，冷板直接接触计算芯片，DRAM 芯片同时充当中介层，通过硅通孔（TSV）传输 PCIe 和芯片间信号。
d-Matrix 联合创始人兼首席技术官 Sudeep Bhoja 在会议上表示，垂直接口的能耗仅为 0.37 pJ/bit，而相比之下，数据进入 HBM4 基底芯片的能耗约为 2.4 pJ/bit。他称这是来自工作硅片的“实测数据”。与英属哥伦比亚大学合作撰写的 ISCA 2026 论文预测，Raptor 的单卡吞吐量约为基于 HBM 设计的 4.7 倍。不过，Bhoja 并未透露 DRAM 芯片的制造商。
CEO Sid Sheth 曾在 6 月对 CNBC 表示，Raptor 计划于 2027 年 推出，但 Hot Chips 上并未给出确切日期、产量或定价信息。所有展示的性能数据，包括在 2.8 万亿参数的 Kimi K3 模型、100 万 token 上下文下每用户每秒生成 988 个 token，均为基于早期硅片的 d-Matrix 预测。
Raptor 的定制 DRAM 芯片每 chiplet 包含 840 个 bank，其中约 9% 为备用 bank，通过称为“bank chaining”的两级多路复用链连接，可替换任意两个故障 bank。逻辑芯片上的 [132,128] Reed-Solomon 码可纠正每 128 字节中的两个符号错误，并辅以 CRC 校验。接口没有 PHY、突发结构或边带引脚，因此无法使用传统的数据总线反转（DBI）技术；d-Matrix 改为比较每个 128 字节 flit 与前一个 flit，并存储 1 位反转标记，从而恢复了 DBI 本可节省的约 20% I/O 功耗。在满负荷运行时，垂直接口仍消耗每封装预算 422W 中的 296W。
尽管技术指标亮眼，Raptor 的量产前景存在不确定性。d-Matrix 已确认台积电为其 N4P 逻辑芯片代工，Alchip 负责 ASIC 设计和 2.5D/3D 封装，但两家公司均不运营 DRAM 晶圆厂。自去年 9 月 Pavehawk 3DIMC 测试硅片上线以来，d-Matrix 从未公开其定制 DRAM 的制造商。全球领先的 DRAM 厂商仅有三家，且都在将产能分配给 HBM4 产线，这些产线到 2026 年已基本售罄。摩根大通估计，DRAM 价格从 2024 年初到 2026 年底将上涨超过 400%；分析师记录 2026 年第一季度合约价涨幅达 90% 至 95%。SK 海力士 CEO Kwak Noh-jung 在 7 月对路透社表示，“客户需求将超过我们的供应能力，甚至持续到 2030 年之后”。英伟达作为内存厂商最大客户，据报道正在测试仅 192GB 的 Rubin Ultra 配置，因为可能无法获得足够的 HBM4E。
d-Matrix 是一家融资约 4.5 亿美元 的初创公司，要求内存厂商在原本可生产 HBM 的产能上运行非标准 bank 几何形状的定制芯片，谈判地位相对较弱。在供应商未公开之前，Raptor 的 2027 年量产计划完全依赖这一未知的依赖关系。
此外，Raptor 的 DRAM 密度为 11.4 MB/mm²，约为 HBM4 的 21.9 至 26.3 MB/mm² 的一半。Bhoja 在问答环节承认：“我们使用的不太先进的 DRAM 导致密度下降。如果我们采用更主流的 DRAM，就像 HBM4 厂商那样，我们几乎可以提升到 HBM4 的水平。”
Raptor 单卡 32GB 的容量远低于 HBM4 加速器的 192GB 至 288GB，因此 d-Matrix 将部署规模定位于机架级：72 张卡可提供 2.3TB 容量，足以在 4 位精度下容纳 Kimi K3 的权重，并支持约 54 个并发用户（1M 上下文）。Bhoja 表示：“即使只有 32GB 内存容量，我们也能在 scale-up 网络中解决 SOTA 模型，不会浪费任何比特。”然而，KV 缓存增长会随时间影响这一计算。联合演讲者 Aayush Ankit 指出，一旦模型和上下文无法装入单个机架，推理将溢出到卡间同步，通信将成为瓶颈。
总体而言，Raptor 展示了 3D DRAM 在推理加速中的潜力，但其量产依赖未公开的 DRAM 供应商，且面临 HBM 生态的激烈竞争，实际落地仍存变数。