Google 正在把第八代 TPU 从两颗通用芯片扩展为一组面向特定场景的系统。公司此前在 4 月发布了面向大模型预训练的 TPU 8t 和面向通用推理的 TPU 8i,如今又新增 TPU 8tx 与 TPU 8i Max 两款产品:前者基于 8t 的同一硅片,主打机密推理与小规模训练;后者把两颗 8i 芯片封装在一起,瞄准长上下文智能体任务。
从定位看,8i Max 的思路并不复杂——就是把两颗 8i 合到一个封装里,换来约两倍的算力,但更关键的是在“现有 rack footprint”内塞进两倍硅片,Google 称其每平方英尺、每瓦算力更高。按官方披露与推导数据,8i Max 的 FP4 算力约 20.2 PFLOPS,片上 SRAM 达 768 MB,HBM 带宽约 17.2 TB/s,均为原版 8i 的两倍。这一算力水平与英伟达 Rubin R200(额定 50 FP4 PFLOPS、每插槽 22 TB/s HBM4)和 AMD MI455X(40 FP4 PFLOPS)仍有差距,但差距在收窄。
Google 把内存带宽翻倍视为绕开 HBM4 的一条路径。公司所称的“内存墙”在智能体场景下尤为突出:当数十个 AI 智能体协同处理整个代码库时,上下文窗口正向 100 万 token 级别扩张,KV 缓存随之膨胀,每生成一个新 token 都要从内存回读缓存,额外 HBM 带宽正是为此准备。这与英伟达 LPX 的路线不同——后者用第二类芯片做解码、并引入存储层级来承载上下文,Google 则选择在单个封装内堆带宽。
软件层面,Google 同步推出 TPU Sync,这是一个开源“TPU 集群模型状态层”,可把海量 KV 缓存以毫秒级自动分层卸载到主机 DRAM,实验性地延伸到共享存储,公司称可将 KV 传输延迟降低 90% 以上。此外还有 Agent Compute Engine,作为 Google Cloud 服务暂停空闲智能体会话并移走其工作内存,进一步节省内存占用。Google 称其 vLLM-TorchTPU 软件栈在 InferenceX 与 AgentX 测试中取得领先的性价比成绩,但目前公开的第三方数据仍来自上一代 Ironwood:SemiAnalysis 去年 9 月的测试显示,在 FP8 下运行 Qwen3.5 397B、每用户 20 token/s 时,Ironwood 每美元 token 数比英伟达 B200 高 50.4%、比 B300 高 96.0%;11 月的结果又显示其 FP8 在同模型上每美元性能达到英伟达 FP4 GB300 NVL72 的 1.67 倍。不过 Ironwood 不支持原生 FP4,且第八代产品尚无对比数据。
另一款新品 TPU 8tx 则把重点放在安全。它沿用 8t 硅片,但主机 CPU 从 Arm 架构的 Axion 换成 第五代 AMD EPYC,网络采用 Boardfly。其安全能力做进硬件隔离层,防止包括模型权重在内的敏感数据被窥探——通常数据在处理时需在内存中解密,这层隔离正是为覆盖该环节。目标客户是受监管企业和政府,尤其是使用前沿或专有模型的机构,它们可能希望用私有数据微调模型、把大模型蒸馏为小模型、训练自己的智能体,同时不必在集群间搬运敏感数据。Google 的 Private AI Compute 平台此前已在 TPU 上运行机密推理,8tx 相当于把这一能力产品化。竞争方面,英伟达 NVL72 以 72 颗 Rubin GPU、36 颗 Vera CPU 及互连构成单一安全域,英特尔 TDX 则在增加可信 I/O 以覆盖数据向加速器迁移的环节。
Google 称 TPU 已成为快速增长的业务,客户接近 100 家,Meta 近期也开始采用 TPU。模块化策略让公司能在“数月而非数年”内交付专用系统,这正是其扩展客户基础的底气。四款芯片目前均标注为“即将推出”。