在Hot Chips 2026大會上，谷歌詳細介紹了其第八代張量處理單元（TPU）家族，包括用於訓練的TPU 8t和用於推理的TPU 8i。這一發布標誌著谷歌在自研AI硬體上的持續投入，使其成為少數同時開發訓練和推理晶片的超大規模雲廠商之一。

谷歌的TPU發展歷程可追溯至第一代PCIe推理卡，此後在訓練和推理最佳化晶片之間交替迭代。據谷歌介紹，訓練過程中的前向傳播約有三分之一也屬於推理，因此兩代晶片的設計經驗相互借鑑。多年來，谷歌聲稱其TPU效能已提升一百萬倍。

本次釋出的TPUv8家族有兩個顯著特點：一是首次在單一年份推出兩款晶片，而非交替釋出；二是設計時更多考慮雲客戶的工作負載，而不僅限於內部任務。谷歌指出，混合專家（MoE）模型帶來了新的瓶頸，因為其通訊和網路流量遠高於早期模型，單純提升FLOPS已不足以應對。此外，新硬體針對agentic AI的長上下文視窗進行了最佳化。

在推理晶片TPU 8i的設計上，谷歌強調了推理對HBM頻寬和SRAM比例的更高需求。與訓練晶片相比，8i晶片尺寸更大，配備8個HBM堆疊，而訓練晶片8t為6個。谷歌還為其配備了更多SRAM、記憶體和頻寬，以應對低延遲推理場景下的效能挑戰。

TPU 8i支援多種網路拓撲，其中BoardFly拓撲由8個托盤、每個托盤4個TPU組成，共36組。與之前用於訓練的3D Torus網路相比，Fly網路延遲更低，8i的BoardFly網路最大跳數為7跳，而Torus為16跳。此外，8i設計中的集體加速引擎在靠近網路硬體的ICI I/O die中處理網路內集合操作，避免了資料傳輸到計算die的時間和HBM訪問開銷。

在訓練晶片TPU 8t方面，谷歌表示訓練最佳化難度大，但公司不願妥協，因此堅持開發專用訓練晶片。8t超級節點包含9600顆晶片，提供2PB共享HBM記憶體和121 EFLOPS的FP4算力，能效約為上一代TPUv7 Ironwood的兩倍。不過，並非所有運算都適合FP4，因此晶片還需高效處理混合精度訓練。

值得注意的是，TPU 8i與谷歌自研的Axion CPU搭配使用，比例為2:1，取代了此前使用的x86 CPU，這標誌著谷歌在硬體上全面轉向自研和Arm架構。這一舉措進一步減少了對外部供應商的依賴。

谷歌的TPUv8釋出對AI晶片市場具有深遠影響。作為少數自研訓練硬體的超大規模雲廠商，谷歌的持續投入可能加劇與輝達等主流GPU供應商的競爭，同時為雲客戶提供更多算力選擇。分析人士認為，谷歌在推理晶片上的最佳化（如高頻寬、低延遲網路）反映了AI工作負載從訓練向推理轉移的趨勢，這對整個AI基礎設施的構建方式具有啟示意義。