谷歌宣布为其第八代 AI 加速器阵容新增两款系统:面向机密计算的 TPU 8tx 和面向内存密集型负载的 TPU 8i Max。谷歌表示,这是公司首次在一年内交付四款 TPU 系统。两款新品均基于现有芯片构建,并非新一代处理器,而是围绕同一颗芯片采用不同的封装、网络和内存配置。谷歌将这种模块化思路称为有意为之的设计选择,使其能在数月而非数年内推出新的硬件变体。

TPU 8tx 瞄准处理机密数据的企业和政府机构。通常情况下,数据在存储和传输时处于加密状态,但处理器一旦开始运算就需要在内存中解密。谷歌称,TPU 8tx 能让数据和模型权重在活跃使用期间也保持受保护与隔离状态。英伟达此前已通过其机密计算架构为 GPU 提供类似功能。该系统采用谷歌为实时推理开发的低延迟 Boardfly 网络,据称相比 TPU 8t 可将延迟降低最多一倍。谷歌表示,企业可在单一系统内完成模型微调、将大模型蒸馏为小模型以及通过强化学习训练 AI 智能体,而无需在不同集群间迁移敏感数据。

TPU 8i Max 解决的是另一类问题:内存瓶颈。当 AI 智能体同时处理大型代码库或数小时视频时,内存带宽会成为制约点。谷歌的应对方式是将两颗 TPU 8i 芯片置于同一封装内,从而在相同机架规格下实现算力、内存和内存带宽均翻倍,意味着单位数据中心面积能提供显著更高的性能。

在硬件之外,谷歌也在降低 TPU 的使用门槛。公司已将 TorchTPU 开源,使 PyTorch 代码只需极少改动即可在 TPU 上运行,同时支持 vLLM 和 SGLang 等主流推理框架。

这一扩展是谷歌战略转变的直接体现:TPU 不再只是内部工具,而是被推向外部客户作为竞争性平台。谷歌目前拥有近 100 家外部 TPU 客户。更广泛的市场趋势也在推动这一进程:随着 AI 应用普及,行业焦点正从昂贵的训练转向推理,即模型的日常运行。TPU 这类专用芯片恰好在推理领域能发挥优势,这也是亚马逊、微软和 OpenAI 都在开发自有加速器的原因。英伟达则通过收购式招聘和与 Groq 的授权协议来强化自身推理产品。

从产业角度看,谷歌此举将定制芯片的竞争从训练延伸到推理这一规模更大、更贴近日常运营的市场。对云厂商而言,专用芯片有助于控制成本并形成差异化;对英伟达而言,推理市场的份额面临更多替代方案的分流。谷歌以模块化封装快速衍生变体的做法,也意味着硬件迭代节奏可能加快,对数据中心基础设施的适配提出新要求。