HBM是什麼:高頻寬記憶體(AI 視訊記憶體) · 百科

是什麼

HBM（High Bandwidth Memory，高頻寬記憶體）是一種把多層 DRAM 晶片垂直堆疊、再通過矽中介層緊貼處理器封裝的記憶體技術。相比傳統平鋪式記憶體，它用更短的連線和更寬的介面，在更小的物理面積內實現成倍的資料頻寬，同時降低單位資料傳輸的能耗。

訓練和執行大型 AI 模型時，GPU 的算力往往不是瓶頸，把海量引數與資料及時送進計算單元才是，這就是所謂「記憶體牆」。HBM 提供的超高頻寬正是緩解這一瓶頸的關鍵，因此幾乎所有高階 AI 加速器都配備 HBM。其產能與堆疊層數，常常成為先進晶片整體供給的限制因素之一。

HBM 處在 AI 產業鏈的晶片層，是 GPU 的關鍵配套部件。它向下依賴能源層的電力和台積電先進封裝的製造能力，向上直接決定模型層訓練與推理的資料吞吐效率。沒有足夠的 HBM，晶片的紙面算力就無法轉化為模型層可用的實際效能。

常見問題

HBM 是什麼？

HBM（High Bandwidth Memory，高頻寬記憶體）把多層 DRAM 晶片垂直堆疊、再通過矽中介層緊貼處理器封裝；相比傳統平鋪式記憶體，用更短的連線和更寬的介面在更小面積內實現成倍頻寬，同時降低單位資料傳輸的能耗。

AI 晶片為什麼離不開 HBM?

訓練和執行大模型時，GPU 算力往往不是瓶頸，把海量引數與資料及時送進計算單元才是，即所謂「記憶體牆」；HBM 的超高頻寬正是緩解這一瓶頸的關鍵，因此幾乎所有高階 AI 加速器都配備 HBM，其產能與堆疊層數常成為先進晶片整體供給的限制因素之一。

HBM 在 AI 產業鏈中屬於哪一層？

晶片層，是 GPU 的關鍵配套部件：向下依賴能源層的電力和台積電先進封裝製造能力，向上直接決定模型層訓練與推理的資料吞吐效率。