資深晶片設計師、硬體分析人士「Mr. Bubble」在科技播客Frictionless Podcast的專訪中提出,AI算力基礎設施的真正瓶頸已經不在晶片本身,而是轉移到了封裝、互連延遲與儲存層級這三個更底層的物理問題上。這期對話從電晶體密度一路講到機架設計,核心判斷是:算力競賽的命題已經從「設計更快的晶片」變成「控制從矽片到機架的物理堆疊」。

摩爾定律的經濟學已經斷裂

Mr. Bubble認為,市場長期用電晶體密度每兩年翻倍來衡量晶片進步,但這一邏輯在經濟層面已經失效。他指出,推進先進製程節點所需的資金已膨脹到驚人程度,現在可能需要花費數百上千億美元,而換來的電晶體密度提升可能只有15%到20%,甚至無法翻倍。正因晶圓光刻微縮成本呈非線性指數級增長,他認為先進封裝成為了新的摩爾定律——行業不再死磕把更多電晶體塞進同一單位面積,而是通過封裝技術「擴大面積」,把多顆晶片連線起來使其像一顆晶片一樣運作。

這一趨勢直接改變了產業鏈的價值分佈。Mr. Bubble稱自己早於市場看多英特爾,原因正是英特爾的EMIB封裝技術當時遠超台積電水平,而台積電此後也在向該方向轉型。但他直言,真正應該做多的其實是PCB板廠商:當輝達被迫將Rubin Ultra從四晶片單封裝降規為兩個獨立封裝、再通過PCB連線時,PCB製造商反而成了整個計算鏈路的新瓶頸。

輝達路線圖受制於供應鏈

Mr. Bubble以輝達路線圖為例說明其受制於供應鏈的現實。他表示,輝達最初計劃在Rubin Ultra架構中封裝4顆裸片,但受制於物理和封裝極限,最終被迫降級妥協,傳聞改為每組封裝2顆裸片,再通過PCB連線兩組封裝。他強調,輝達的路線圖並不完全由輝達控制,而是受制於記憶體和封裝供應商——他受制於SK海力士、三星和台積電能做什麼,也許將來還要看英特爾。對於後續的Feynman代計劃預設搭載四顆晶片並配備更多HBM,他表示好奇輝達打算如何解決這些「直覺上根本不可能實現」的問題。

算力單位從晶片變成整個機架

隨著大模型引數量級躍升,算力重心已從橫向擴充套件轉向縱向擴充套件。Mr. Bubble強調,晶片不能再在真空中設計,這些系統不再只是一兩顆晶片、甚至不是一台伺服器,而是一個完整的機架,甚至可能是多個機架;未來無論訓練還是推理,設計重點必須是整個機架。

在縱向擴充套件領域,互連的吞吐量和延遲決定叢集生死。他對比了兩條路線:輝達通過NVL72系統和龐大的NVSwitch交換機網路解決高頻寬互連問題,但這佔據了本可用於GPU的物理空間;谷歌TPU團隊則把Scale-up規模做到了9600顆晶片,並將部分路由邏輯直接構建在晶片內部,讓晶片同時充當偽路由器。他舉例說,如果擁有極低延遲、高頻寬的擴充套件域且中間交換較少,就可以減少單晶片的記憶體配置,用「堆更多晶片」代替「堆更多記憶體」——這也解釋了為何谷歌TPU單卡HBM配置少於輝達,卻依然能撐起超大規模訓練。他認為這種系統級設計能力將成為未來AI硬體廠商的核心壁壘。

推理側方面,預填充-解碼分離正成為主流架構範式。他提到Kimi的參考設計已將兩個階段部署在不同節點上,並認為這一做法正變得無處不在,因為這兩個操作在根本上就是完全不同的事情。

HBM之後,快閃記憶體成為儲存戰場主角

在推理端,隨著大模型上下文視窗128K暴增至100萬甚至更高,記憶體容量面臨前所未有的考驗。市場普遍認為需要無休止堆砌昂貴的HBM,但Mr. Bubble提出不同解法:大模型的權重應該放在HBM裡,但如果不是一次性使用所有上下文,就沒必要在HBM中存放海量上下文資料。他指出,推理過程中佔據大量記憶體空間的其實是使用者的歷史對話和上下文,而非單純的模型權重。

為解決吞吐量與成本的矛盾,行業正走向快閃記憶體解除安裝的道路。輝達已推出針對此類場景的網路附加快閃記憶體驅動器機架設計,而更廉價、更高容量的HBF(高頻寬快閃記憶體)甚至常規快閃記憶體,結合優秀的快閃記憶體控制器設計,完全可以承載海量上下文需求。對於記憶體的終極形態,他給出明確預測:3D DRAM——將DRAM直接鍵合在邏輯晶片上方,通過物理距離的無限拉近同時降低延遲、提高頻寬並降低功耗,這將是下一次硬體革命的焦點。

對「踩邊界」敘事的質疑與投資邏輯

對話最後,Mr. Bubble把矛頭指向大模型實驗室近期流行的「pacing the frontier(踩邊界/放緩前沿)」敘事。他的核心質疑是:踩邊界是為了大眾,而不是為了他們自己。他指出,大模型實驗室沒有暫停任何資料中心建設計劃,沒有削減任何資本支出,而那些資料中心都是多年期承諾,如果他們是真心的,就應該取消這些開支。在AI安全論上,他坦言自己不是AI終結者敘事的信徒,認為讓這些GPU持續執行的成本極高,更現實的風險在於法律責任而非科幻式失控場景。他真正感興趣的問題是:踩邊界究竟有多少是垂直整合與高價值問題攻堅,有多少隻是「監管俘獲」。

在投資邏輯上,他的立場一以貫之:他相信擁有硬體層、擁有「鐵路」,或者擁有構成這一切的核心部件。他提出的判斷是:與其投資那些註定會競爭到死、超額收益會隨著人員跳槽而消散的AI實驗室,不如擁有那些有10年、20年業績記錄、並在開發不可或缺硬體方面擁有深厚護城河的公司。

對於讓華爾街最頭疼的資本支出回本問題,Mr. Bubble用一筆經濟賬給出回應:他認為將迎來一次快速起飛,只要藉助AI研發出5到10種新藥,就能收回所有的資本支出。