SK海力士本週在聖何塞舉行的FMS 2026大會上，展示了與閃迪合作開發的高頻寬快閃記憶體（HBF）技術。這是一種新型垂直堆疊快閃記憶體，旨在應對AI推理中日益嚴峻的“記憶體牆”挑戰。儘管距離量產還有一年，但HBF的支持者認為，它有望成為突破AI記憶體瓶頸的關鍵方案。

AI推理過程中，KV快取（鍵值快取）扮演著短期記憶的角色，儲存先前查詢的預計算結果。更大的KV快取意味著AI服務提供商能為更多使用者提供更長會話和更大上下文視窗。然而，理想情況下KV快取應完全存放在緊鄰GPU或AI加速器的HBM中，但HBM容量有限，通常僅三分之一用於KV快取，其餘分配給神經網路權重和工作資料。當KV快取需求超出HBM容量時，資料便溢位到DRAM和企業級SSD，而SSD通過網路訪問，速度遠慢於HBM。

為應對這一瓶頸，輝達推出了Context Memory Extension（CMX）架構，結合即將量產的BlueField-4 DPU、RoCE和自適應路由等技術，最佳化企業級快閃記憶體陣列上的KV快取查詢效率。各大快閃記憶體陣列廠商正加緊開發CMX產品，預計今秋BlueField-4 DPU出貨時同步上市。

SK海力士與閃迪則另闢蹊徑，通過3D封裝技術將NAND快閃記憶體晶片垂直堆疊（類似HBM），實現每堆疊約512GB的儲存密度，頻寬預計在0.4TB/s至3.0TB/s之間。HBF將位於HBM與SSD之間，採用UCIe（Universal Chiplet Interconnect Express）作為連線協議，緊鄰處理器部署，提供接近HBM的吞吐量，但容量更大、成本更低。第二代和第三代HBF預計每堆疊提供3TB/s讀取頻寬，與當前HBM4的3.3TB/s相當。HBF在物理尺寸、功耗和堆疊高度上也與HBM4接近，便於晶片製造商將其整合到未來的AI加速器中。

HBM技術本身也在快速演進。根據韓國科學技術院（KAIST）的路線圖，HBM5預計2029年提供4TB/s頻寬，HBM6在2032年達8TB/s，HBM7在2035年達24TB/s，HBM8在2038年達64TB/s，逐步逼近SRAM的100TB/s頻寬水平。但SRAM成本高昂，且最大容量有限，如Cerebras Systems的晶片僅提供44GB片上SRAM。

HBF的一個明顯短板是寫入速度極慢，但KV快取主要是隻讀操作，這恰好規避了該缺點，使其成為KV快取擴充套件的潛在理想方案。今年2月，SK海力士與閃迪已在開放計算專案（OCP）框架下啟動HBF標準化工作，谷歌和Tenstorrent已加入，預計更多企業將跟進。週四，SK海力士副總裁Lim Eui-cheol、閃迪副總裁Rajeev Nagabhirava和谷歌DeepMind高階職員工程師Xiaoyu Ma將參加FMS 2026小組討論，主題為“用高頻寬快閃記憶體打破記憶體牆”。SK海力士執行副總裁Kim Chun-sung表示，隨著AI應用快速普及，整體資料處理架構必須重新設計，HBF將擴充套件記憶體與儲存的邊界，助力構建提升系統效率的新架構。