花旗釋出的AI基礎設施峰會紀要顯示，AI基礎設施的競爭重心正從單純堆疊算力轉向系統級最佳化。隨著AI從模型訓練進一步進入推理、智慧體和長上下文工作流，算力晶片已不再是唯一瓶頸，網路互聯、記憶體頻寬與容量，以及資料在不同層級之間的傳輸效率，正成為下一階段基礎設施升級的關鍵。峰會第二天，博通、Marvell、三星及AWS集中闡述了各自在網路、儲存和定製晶片領域的佈局，釋放出一個共同訊號：AI工作負載持續複雜化後，基礎設施需要同時解決互聯效率、記憶體容量、頻寬、功耗和成本等問題。

博通產品管理副總裁Hasan Siraj介紹了公司的AI網路佈局。博通認為，乙太網路正在成為大規模AI基礎設施的首選互聯技術，Tomahawk和Jericho系列是其核心網路產品。目前博通已形成覆蓋網絡卡（NIC）、交換機和軟體的AI乙太網路方案。其中，Tomahawk系列持續以每代翻倍的速度提升頻寬，最新Tomahawk 6達到102.4 Tbps，面向更大規模AI叢集。博通稱，更高的網路效率能夠同步降低功耗、散熱及基礎設施運營成本，其方案相比替代方案可節省超過30%的五年總擁有成本（TCO）。這一表態將網路互聯從配套角色推向決定AI叢集經濟性的核心變數。

Marvell資料中心網路集團執行副總裁兼總經理Dave Lazovsky則將重點放在記憶體層級。隨著AI進入推理密集型和長上下文場景，KV快取規模快速增長，可能超過HBM容量上限，系統因此需要從速度更慢的記憶體層級重新載入資料，甚至重新計算上下文。Marvell指出，這一過程會推高推理延遲、記憶體流量和功耗，成為AI系統進一步擴充套件的瓶頸。由此來看，未來AI基礎設施不僅需要增加算力，也需要重新最佳化記憶體層級和資料傳輸路徑，讓資料能夠更高效地在不同計算與儲存層級之間流動。

三星DRAM產品規劃與業務拓展副總裁In Dong Kim判斷，AI將沿“生成式AI→智慧體AI→物理AI”的路徑演進。三星預計，訓練需求將增長約3倍，推理需求可能增長約100倍，記憶體、儲存、功耗和散熱的重要性隨之提升。三星預計，HBM4E將實現每GPU 16 TB/s頻寬，效能功耗比相比HBM4提升20%；HBM5較HBM4E實現2倍效能提升。更激進的zHBM則被三星視為潛在顛覆性技術，其單GPU效能較HBM5提升4至8倍，效能功耗比提升3倍，熱阻降低75%至90%。三星同時介紹了Z-NAND方案，採用SLC NAND與TSV堆疊，讀取效能可比肩LPDDR5 DRAM，位元密度約為DRAM的10倍，預計2028年開始送樣。

AWS則通過定製晶片提升AI系統效率。AWS基礎AI模型、定製晶片及量子計算高階副總裁Peter DeSantis表示，公司已形成Graviton、Inferentia和Trainium自研晶片體系，並將Trainium的核心優勢歸結為“單位成本記憶體頻寬”，認為這一指標直接影響AI訓練經濟性和token效率。這一思路與博通、Marvell、三星的取向一致：在算力規模之外，單位成本下的資料流動效率正成為衡量AI基礎設施競爭力的關鍵標尺。

整體來看，隨著AI從模型訓練走向智慧體和真實工作流，基礎設施競爭的焦點也在發生變化。算力規模仍然重要，但網路連線、記憶體頻寬與容量，以及資料傳輸效率，正成為決定AI系統性能和成本的關鍵變數。對產業鏈而言，這意味著交換晶片、高速乙太網路、HBM及先進儲存、定製ASIC等環節的需求敘事正在強化，而單純以算力晶片數量衡量AI基礎設施能力的視角，可能越來越難以反映系統層面的真實瓶頸與成本結構。