人工智慧對記憶體的需求正從高頻寬記憶體（HBM）擴充套件至傳統DRAM、NAND快閃記憶體及儲存，Bernstein分析師認為，AI正在製造日益嚴重的“記憶體瓶頸”，投資機會將越來越取決於具體AI工作負載。這一判斷意味著，記憶體產業鏈的投資邏輯正在從單一HBM轉向更廣泛的儲存層級。
Bernstein在最新報告中指出，訓練、推理、檢索增強生成（RAG）和智慧體AI（agentic AI）對記憶體堆疊提出了不同要求。訓練階段高度依賴計算能力，記憶體頻寬限制著模型規模和計算速度，HBM在其中扮演核心角色，但大規模訓練同樣需要系統DRAM、本地SSD和網路儲存來處理資料集、快取和檢查點。
推理階段則呈現不同挑戰。初始的“預填充”（prefill）階段——AI模型處理提示並生成第一個token的過程——主要受計算限制，GPU和HBM更為關鍵；隨後的“解碼”（decode）階段則受記憶體限制。模型將先前token儲存在鍵值（KV）快取中，其需求隨上下文長度和併發使用者數而增長。Bernstein表示，在大型部署中，KV快取所需記憶體可能超過模型權重，從而限制AI服務可支援的使用者數量。
這種壓力正催生新的記憶體層級，包括CXL記憶體、輝達的“Storage Next”計劃以及CMX上下文儲存，與HBM、傳統DRAM和SSD並存。這些新興技術旨在平衡效能、容量和成本，因為AI系統需要更大的記憶體池。
檢索增強生成（RAG）可能進一步擴大需求。Bernstein稱，構建RAG資料庫需要大量SSD或HDD容量以及系統DRAM，當這些資料庫被搜尋時，DRAM的作用更加突出。智慧體AI則可能進一步加劇需求，因為自主系統需要保留中間結果、與外部工具互動並在智慧體之間傳遞輸出，這會迅速增加KV快取需求，同時提高對傳統伺服器中CPU和常規記憶體的要求。
記憶體製造商也在開發高頻寬快閃記憶體等技術，試圖將HBM的頻寬與NAND的更大容量和更低成本相結合。Bernstein指出，技術挑戰仍然很高。
在評級方面，Bernstein對三星電子、SK海力士、美光、SanDisk、希捷和西部資料給予“跑贏大盤”評級，而對鎧俠（Kioxia）給予“跑輸大盤”評級。這一評級分佈顯示，分析師認為傳統儲存巨頭在AI記憶體擴充套件中更具優勢，而部分專注NAND的廠商可能面臨挑戰。
對於AI產業投資者而言，記憶體瓶頸的演變意味著，除了GPU和HBM，DRAM、NAND和儲存裝置的需求也將持續增長，這可能影響整個算力基礎設施的投資節奏。隨著AI從訓練走向大規模推理和智慧體應用，記憶體架構的最佳化將成為決定AI服務成本與效能的關鍵因素。