资深芯片设计师、硬件分析人士「Mr. Bubble」在科技播客Frictionless Podcast的专访中提出,AI算力基础设施的真正瓶颈已经不在芯片本身,而是转移到了封装、互连延迟与存储层级这三个更底层的物理问题上。这期对话从晶体管密度一路讲到机架设计,核心判断是:算力竞赛的命题已经从「设计更快的芯片」变成「控制从硅片到机架的物理堆栈」。
摩尔定律的经济学已经断裂
Mr. Bubble认为,市场长期用晶体管密度每两年翻倍来衡量芯片进步,但这一逻辑在经济层面已经失效。他指出,推进先进制程节点所需的资金已膨胀到惊人程度,现在可能需要花费数百上千亿美元,而换来的晶体管密度提升可能只有15%到20%,甚至无法翻倍。正因晶圆光刻微缩成本呈非线性指数级增长,他认为先进封装成为了新的摩尔定律——行业不再死磕把更多晶体管塞进同一单位面积,而是通过封装技术「扩大面积」,把多颗芯片连接起来使其像一颗芯片一样运作。
这一趋势直接改变了产业链的价值分布。Mr. Bubble称自己早于市场看多英特尔,原因正是英特尔的EMIB封装技术当时远超台积电水平,而台积电此后也在向该方向转型。但他直言,真正应该做多的其实是PCB板厂商:当英伟达被迫将Rubin Ultra从四芯片单封装降规为两个独立封装、再通过PCB连接时,PCB制造商反而成了整个计算链路的新瓶颈。
英伟达路线图受制于供应链
Mr. Bubble以英伟达路线图为例说明其受制于供应链的现实。他表示,英伟达最初计划在Rubin Ultra架构中封装4颗裸片,但受制于物理和封装极限,最终被迫降级妥协,传闻改为每组封装2颗裸片,再通过PCB连接两组封装。他强调,英伟达的路线图并不完全由英伟达控制,而是受制于内存和封装供应商——他受制于SK海力士、三星和台积电能做什么,也许将来还要看英特尔。对于后续的Feynman代计划默认搭载四颗芯片并配备更多HBM,他表示好奇英伟达打算如何解决这些「直觉上根本不可能实现」的问题。
算力单位从芯片变成整个机架
随着大模型参数量级跃升,算力重心已从横向扩展转向纵向扩展。Mr. Bubble强调,芯片不能再在真空中设计,这些系统不再只是一两颗芯片、甚至不是一台服务器,而是一个完整的机架,甚至可能是多个机架;未来无论训练还是推理,设计重点必须是整个机架。
在纵向扩展领域,互连的吞吐量和延迟决定集群生死。他对比了两条路线:英伟达通过NVL72系统和庞大的NVSwitch交换机网络解决高带宽互连问题,但这占据了本可用于GPU的物理空间;谷歌TPU团队则把Scale-up规模做到了9600颗芯片,并将部分路由逻辑直接构建在芯片内部,让芯片同时充当伪路由器。他举例说,如果拥有极低延迟、高带宽的扩展域且中间交换较少,就可以减少单芯片的内存配置,用「堆更多芯片」代替「堆更多内存」——这也解释了为何谷歌TPU单卡HBM配置少于英伟达,却依然能撑起超大规模训练。他认为这种系统级设计能力将成为未来AI硬件厂商的核心壁垒。
推理侧方面,预填充-解码分离正成为主流架构范式。他提到Kimi的参考设计已将两个阶段部署在不同节点上,并认为这一做法正变得无处不在,因为这两个操作在根本上就是完全不同的事情。
HBM之后,闪存成为存储战场主角
在推理端,随着大模型上下文窗口从128K暴增至100万甚至更高,内存容量面临前所未有的考验。市场普遍认为需要无休止堆砌昂贵的HBM,但Mr. Bubble提出不同解法:大模型的权重应该放在HBM里,但如果不是一次性使用所有上下文,就没必要在HBM中存放海量上下文数据。他指出,推理过程中占据大量内存空间的其实是用户的历史对话和上下文,而非单纯的模型权重。
为解决吞吐量与成本的矛盾,行业正走向闪存卸载的道路。英伟达已推出针对此类场景的网络附加闪存驱动器机架设计,而更廉价、更高容量的HBF(高带宽闪存)甚至常规闪存,结合优秀的闪存控制器设计,完全可以承载海量上下文需求。对于内存的终极形态,他给出明确预测:3D DRAM——将DRAM直接键合在逻辑芯片上方,通过物理距离的无限拉近同时降低延迟、提高带宽并降低功耗,这将是下一次硬件革命的焦点。
对「踩边界」叙事的质疑与投资逻辑
对话最后,Mr. Bubble把矛头指向大模型实验室近期流行的「pacing the frontier(踩边界/放缓前沿)」叙事。他的核心质疑是:踩边界是为了大众,而不是为了他们自己。他指出,大模型实验室没有暂停任何数据中心建设计划,没有削减任何资本支出,而那些数据中心都是多年期承诺,如果他们是真心的,就应该取消这些开支。在AI安全论上,他坦言自己不是AI终结者叙事的信徒,认为让这些GPU持续运行的成本极高,更现实的风险在于法律责任而非科幻式失控场景。他真正感兴趣的问题是:踩边界究竟有多少是垂直整合与高价值问题攻坚,有多少只是「监管俘获」。
在投资逻辑上,他的立场一以贯之:他相信拥有硬件层、拥有「铁路」,或者拥有构成这一切的核心部件。他提出的判断是:与其投资那些注定会竞争到死、超额收益会随着人员跳槽而消散的AI实验室,不如拥有那些有10年、20年业绩记录、并在开发不可或缺硬件方面拥有深厚护城河的公司。
对于让华尔街最头疼的资本支出回本问题,Mr. Bubble用一笔经济账给出回应:他认为将迎来一次快速起飞,只要借助AI研发出5到10种新药,就能收回所有的资本支出。