是什麼

HBM(High Bandwidth Memory,高帶寬內存)是一種把多層 DRAM 芯片垂直堆疊、再通過硅中介層緊貼處理器封裝的內存技術。相比傳統平鋪式內存,它用更短的連線和更寬的接口,在更小的物理面積內實現成倍的數據帶寬,同時降低單位數據傳輸的能耗。

為什麼重要

訓練和運行大型 AI 模型時,GPU 的算力往往不是瓶頸,把海量參數與數據及時送進計算單元才是,這就是所謂「內存牆」。HBM 提供的超高帶寬正是緩解這一瓶頸的關鍵,因此幾乎所有高端 AI 加速器都配備 HBM。其產能與堆疊層數,常常成為先進芯片整體供給的限制因素之一。

與五層蛋糕的關係

HBM 處在「五層蛋糕」的「芯片」層,是 GPU 的關鍵配套部件。它向下依賴「能源」層的電力和臺積電先進封裝的製造能力,向上直接決定「模型」層訓練與推理的數據吞吐效率。沒有足夠的 HBM,芯片的紙面算力就無法轉化為模型層可用的實際性能。