在 Hot Chips 2026 大会上，d-Matrix 展示了其新一代 Raptor 3D-DRAM 加速器，专为生成式 AI 推理设计。该方案的核心思路是放弃传统的 HBM 内存，转而将计算逻辑直接堆叠在 DRAM 芯片之上，以解决大模型推理中日益严峻的内存带宽与功耗问题。
d-Matrix 指出，随着模型权重不断增长，KV 缓存也随上下文长度和批处理规模急剧膨胀。例如，64 个用户同时使用 1M 上下文时，KV 缓存可达约 935 GB。权重与缓存共同构成了容量和带宽的双重挑战，且两方面都在持续增长。
在对比现有方案时，d-Matrix 认为 SRAM 虽能提供极高的带宽，但容量过小。其 Corsair SRAM 加速卡对可提供约 300 TB/s 带宽、延迟约 1 纳秒，但容量仅约 4 GB。同时，6T SRAM 单元面积约为 DRAM 的 10 倍，在 GB 级容量下漏电功耗可达数十瓦，因此 SRAM 更适合作为投机解码中的草稿模型，而非承载前沿模型权重。
HBM 则解决了容量问题，但带宽受限。引脚速度和每基片 I/O 宽度提升缓慢，且堆叠层数受封装面积限制，通常每封装约 8-16 层。d-Matrix 援引数据称，HBM4 封装（如 NVIDIA Vera Rubin 和 AMD Instinct MI455）的实际带宽上限约为 20 TB/s。此外，高带宽带来高功耗：在 2.4 pJ/bit 下，通过 HBM 传输 100 TB/s 数据，仅内存功耗就约 1.92 kW，尚未计入其他流量。
为此，d-Matrix 提出将计算直接堆叠在 DRAM 之上。这种 3D 堆叠面临散热和供电挑战，但 d-Matrix 表示，采用 1-Hi 逻辑上堆叠、功率密度不超过 0.5 W/mm² 时，可通过液冷将 DRAM 温度控制在 100°C 以下。在能量效率上，3D-DRAM 的垂直 I/O 能耗约为 0.3-0.4 pJ，比 HBM 低约 10 倍，因为其路径为毫米级而非厘米级。
d-Matrix 将这一技术映射到 LLM 推理工作负载上。预填充阶段并行处理大量 token，受计算吞吐限制；解码阶段逐 token 生成，通常受内存带宽限制。由于解码阶段占据大部分推理时间，提升解码带宽对整体性能至关重要。
Raptor 的具体实现是：在 3D DRAM 芯片上堆叠台积电 N4 逻辑芯片，采用 36 微米面对面堆叠工艺，d-Matrix 称该工艺成熟、低成本、高产量。单卡 32GB，采用 4-bit 权重和 8-bit KV 缓存，72 卡可承载 Kimi K3 等前沿模型，并支持 1M 上下文。
在系统集成方面，d-Matrix 面临四个相互关联的挑战：bank 映射、I/O 功耗和热可靠性。例如，每个张量引擎每次访问需要 128B flit，但每个通道仅 3 个 bank，导致单次访问返回 96B，传输 128B 需两次访问，浪费约 33% 的带宽。d-Matrix 正在通过列交错等技术优化。
总体而言，Raptor 展示了 3D-DRAM 在 AI 推理领域的潜力，但尚处于展示阶段，实际量产和性能表现仍需观察。