在 Hot Chips 2026 大會上，GPU IP 公司 OXMIQ 展示了其高頻寬快閃記憶體（HBF）的用例研究，結論是 HBF 無法在絕大多數工作負載中替代高頻寬記憶體（HBM），但在某些特定場景下，HBF 可作為大容量、相對冷資料的專用記憶體層級，而在另一些場景中，HBF 可能弊大於利。
HBF 概念最初由 SanDisk 於 2025 年初提出，旨在為 AI 加速器提供數 TB 級、成本相對較低的記憶體，以減少對傳統 HBM 的依賴。該技術基於 3D NAND，支援 64 位元組至 4KB 的讀取塊大小、4KB 寫入和 4KB 頁大小。新興的 HBF 規範包含三個效能等級：Grade 1 採用 8-Hi 256GB NAND 堆疊，搭配 8 GT/s UCIe 介面，頻寬為 384 GB/s；Grade 2 採用 512GB NAND 堆疊，搭配 16 GT/s UCIe 介面，頻寬達 1.536 TB/s；Grade 3 則通過 32 GT/s UCIe 2.0 實現 3.072 TB/s 頻寬，容量仍為 512GB。OXMIQ 指出，HBF Grade 1 幾乎無法與當代 HBM 競爭，而 Grade 3 可與 HBM4E 抗衡，但尚不清楚此類記憶體何時可用。HBF 的核心優勢並非效能，而是在相近成本下提供比 HBM 多 8 至 16 倍的容量。
OXMIQ 認為，HBF 應被視為高容量記憶體技術，而非廉價的 HBM。記憶體經濟性不僅取決於應用需要儲存的 GB 數，還取決於資料傳送到處理器的速度。隨著頻寬需求上升，增加相對廉價但較慢的 HBF 最終可能不如使用 HBM 經濟。OXMIQ 通過建模展示了這一權衡：在一個 72-GPU 機架中執行 1 萬億引數的 Kimi-K2 模型（FP4 精度），在成本和功耗相同的情況下，純 HBM 配置提供 20.7 TB 記憶體和 1,584 TB/s 聚合頻寬；純 HBF 配置將機架容量提升 14 倍至 294.9 TB，但聚合頻寬降至 922 TB/s；混合配置則提供 89.3 TB 記憶體和 279 TB/s 至 1,418 TB/s 的頻寬（取決於工作負載）。
在 OXMIQ 的模型中，純 HBF 配置使每個 GPU 都能獨立承載一個 Kimi-K2 例項，每機架可執行 72 個模型例項；而純 HBM 配置則需要 8 個 GPU 才能承載一個例項（導致算力浪費），每機架僅能執行 9 個例項。因此，當記憶體容量成為 GPU 數量的決定因素時，HBF 極具吸引力。然而，隨著併發使用者數和 token 生成速率增加，HBF 的較低頻寬成為瓶頸，而基於 HBM 的機架能更充分利用其高頻寬，最終實現更低的每 token 成本。OXMIQ 總結道：“HBM 用於機架，HBF 用於單機。”
儘管 HBF 並非對所有 AI 工作負載都有益，甚至可能損害許多工作負載的效能，但某些應用可從大量本地記憶體中獲益。混合專家（MoE）模型似乎特別適合 HBF。OXMIQ 的 Kimi-K3 示例中，1.56 TB 權重中有 1.45 TB（93%）為 MoE 專家權重，這些權重通常只寫入一次且讀取頻率相對較低。OXMIQ 建議將這些專家權重置於 HBF，而將頻繁訪問的權重保留在 HBM 中。此外，更大的本地容量可減少加速器間的通訊。傳統專家並行將專家分佈在不同 GPU 上，每層都需要全對全通訊；OXMIQ 稱，廉價的 HBF 容量可讓更多專家駐留本地，減少專家並行分片，降低網路流量，從而用記憶體容量換取互連頻寬和功耗。
長上下文推理是另一個潛在用例。稀疏注意力模型在每次解碼步驟中僅訪問大型 KV 快取的一小部分，其餘部分可留在較慢的 HBF 中。OXMIQ 認為，HBF 可儲存大型 KV 快取，加速器僅從 HBF 獲取每步所需資料。然而，HBM 快取策略存在嚴重侷限：將熱門專家置於 HBM、冷專家置於 HBF 的策略僅在低批處理大小或相似查詢可被刻意分批時有效。隨著批處理大小增加和查詢異構性增強，專家流行度趨於平坦，工作集可能超出 HBM 快取容量，導致專家從 HBF 遷移更頻繁，降低 HBM 快取的效能收益。
OXMIQ 並不期望 HBF 僅作為較慢的 GPU 記憶體工作，而是提議將 HBF 用作主機 DRAM 的替代品，以儲存大量不常訪問的資料。總體而言，HBF 在容量受限場景下優勢明顯，但在頻寬受限時則可能拖累效能，其適用性需根據具體工作負載評估。