AI芯片一级市场再度升温。继上一轮国产GPU投资进入兑现期后,资本正寻找下一批可能跑出的AI芯片公司,近存计算、存算一体、3D近存、3D TokenPU等概念频繁被归入同一标签——3D堆叠。有3D芯片企业半年内连续完成两轮融资,累计规模接近10亿元;还有企业芯片尚未量产,估值已攀升至百亿元。但投资人开始比较这些公司时却发现,相似的技术语言背后,是截然不同的市场、工程难题与商业验证标准。
“技术架构看起来都差不多,谁的产品最好、谁能搞定大客户,我们都不知道。”参投过某上市GPU企业的投资人老张告诉雷峰网。经历过上一轮芯片投资后,他所在的机构更倾向于等企业完成流片、拿出真实订单,再决定是否下注。这种谨慎态度折射出这轮热潮的复杂性——标签相同,但内里各异。
这轮热潮背后,芯片瓶颈正在变化。Agent将一次性的模型问答拉长为持续执行的任务,存储容量、带宽和数据搬运效率的重要性随之上升。过去,AI芯片竞争主要围绕峰值算力展开,GPU通过多级缓存、HBM和先进封装让数据更快抵达计算单元。但在部分推理负载中,制约性能的因素已不只是“算得够不够快”,数据的供给效率愈发受到重视。尤其在Decode阶段,计算单元频繁读取模型权重和KV Cache,算力与带宽需求并不完全匹配,继续借助通用GPU同时扩展计算和存储能力,未必始终是成本最优方案。
设计更适配推理负载的新型芯片架构,因此成为资本和产业关注的方向。追踪新芯片架构的投资人Bob判断,推理需求的爆发速度可能超过市场预期,未来三到五年内AI算力芯片仍可能供不应求。在这一预期下,近存计算、存算一体等围绕数据搬运展开的新架构迅速升温,3D堆叠则成为承载这些路线的集成手段之一。
“3D堆叠本质上是一种芯片集成形式,为了节省面积、缩短传输距离,把不同芯片纵向叠在一起。其中既包括逻辑与存储,也包括逻辑与逻辑、存储与存储。”Omdia半导体分析师总监何晖告诉雷峰网。这也意味着,同样打着“3D堆叠”标签的公司,堆叠对象、技术目标和最终产品可能完全不同。
梳理国内外企业公开表述后,三类方案背后的产业逻辑逐渐清晰。台积电SoIC、英特尔Foveros和AMD MI300等方案,主要通过拆分和重新组合逻辑(包括计算、I/O等)芯粒,延续芯片性能扩展。这类路线并非重新定义计算方式,而是在先进制程微缩日益昂贵的情况下,让不同功能和制程的芯粒继续协同扩展。
第二类方案解决的是存储问题。HBM、HBF和3D V-Cache在有限的封装面积内装入更多数据,并提高数据抵达计算单元的速度,分别瞄准带宽、容量和缓存层级,核心仍是强化计算芯片周围的存储供给能力。
第三类方案进一步改变计算与存储的位置关系。紫光国芯、瑞芯微及多家国内3D近存芯片创业公司,尝试将逻辑(计算)与DRAM等存储单元垂直集成;三星HBM-PIM、思敏威和微纳核芯等方案则进一步把部分计算移动到存储侧。与海外头部企业利用Chiplet、HBM和先进封装扩大系统规模不同,国内新项目更集中于逻辑与存储的垂直集成。
这并非偶然。“真正能参与3D存储竞争的只有三星、SK海力士、美光、长鑫存储和长江存储。”AI芯片专家秦毅指出,这类技术通常掌握在少数具备存储晶圆制造能力的企业手中。此外,Chiplet路线依赖成熟的Die-to-Die互连、软件和产业生态。对多数国内创业公司而言,与其正面进入由IDM、Foundry主导的竞争,不如在芯片架构和封装层面重新组织现有计算与存储资源。在先进制程、HBM和高端封装能力受限的背景下,3D堆叠因此承载了一层特殊期待:用架构和集成创新弥补制造工艺差距。
据何晖观察,受制程条件限制,相较于海外企业在3nm、2nm等先进逻辑制程上叠加先进封装,国内企业更多从7nm等相对成熟节点实行3D堆叠。但她同时表示,当前先进封装尚无统一技术标准,只要有能力把存储和逻辑集成起来,采用何种互连方案并非重点。
然而,3D堆叠本身不会自动带来更强的芯片。在不少3D芯片企业的叙事中,提高带宽是核心卖点。据程伊观察,部分国产3D芯片受成熟制程限制,呈现“算力相对有限、带宽较高”的特征,恰好对应了对内存带宽更敏感的Decode阶段。基于此,他认为企业要关注的是能否在真芯片上跑通Decode,最好还能完成Decode中Attention算子的验证,最终展示足够高的TPS(每秒Token吞吐量)。“高带宽最终必须兑现为Token吞吐。”程伊强调。
不过,这也意味着3D芯片只是打通推理链条的其中一环。“3D芯片真正的价值在于和GPU分工协作,并且降低Decode阶段的成本。”程伊并不看好那些将单点性能指标优化包装成通用算力替代的企业。
如果说高带宽解释了为什么需要3D芯片,那么如何把内部不同单元真正堆叠在一起,则决定了这条路线能否落地。秦毅分析,相比HBM内部各层存储Die,计算Die与存储Die的尺寸、功耗和温度分布差异较大,可能在热循环过程中产生不均匀应力、翘曲和散热问题。程伊也注意到散热和良率的约束,认为目前减少堆叠层数可能是更现实的工程选择。某家3D芯片企业的技术高管也告诉雷峰网,对于计算逻辑与存储晶圆构成的异质堆叠,4至6层是现阶段更现实的工程范围。
此外,芯片能堆叠多少层,还需结合整个封装系统综合判断。秦毅以台积电CoWoS先进封装为例,指出一颗计算Die搭配多少组HBM,需综合考虑Die尺寸、中介层面积、布线、供电和整体封装轮廓等因素,并非单纯取决于希望获得多少容量。
即便硬件完成堆叠和封装,也不意味着3D芯片已具备商业价值。3D集成改变了计算与存储之间的数据组织方式,软件栈也需要重新理解新的存储层级和数据流动方式。程伊认为,判断一家创企的软件能力,需考察其ISA(指令集架构)、编程模型、编译器、运行时、算子库和框架适配。即使硬件提供更高带宽,如果软件无法有效调度新的芯片结构,理论优势仍可能停留在架构图上。
对当前仍处于探索阶段的3D芯片公司而言,从技术路线走向真正产品,至少要跨过三道门槛:在真芯片上证明目标负载的性能和成本优势,在封装制造中解决散热、翘曲和良率问题,再通过软件适配和客户验证实现规模交付。这也意味着,资本不能只用“3D堆叠”这个标签判断项目。重组逻辑芯粒、扩展存储能力与重构存算关系,面对的是不同市场,也需要不同的验证标准。但最终,所有路线仍要回答同一个问题:更高的带宽、更短的数据距离和更激进的堆叠结构,能否真正转化为Token吞吐、单位成本和客户订单?
3D芯片叠几层、怎么叠没有标准答案,但如何从架构走向产品,却有一套相同的检验标准。投资人的追问还在继续。