Google 發表第八代 TPU 新系統 TPU 8tx 與 TPU 8i Max，首度支援機密運算並強化代理架構

Google 擴充第八代 TPU 陣容，繼上半年推出 TPU 8t 與 TPU 8i 之後，新發表 TPU 8tx 與 TPU 8i Max 兩款系統級產品，今年累計推出四款 TPU 系統。Google Cloud AI 與運算基礎架構副總裁暨總經理 Mark Lohmeyer 指出，AI 目前面臨轉向代理規模（Agent Scale）、轉向行動性系統（Systems of action）以及處理高度複雜代理工作流程三大轉變，因此在不到半年的時間內便需推出新系統以滿足市場需求。

在目前的第八代 TPU 布局中，TPU 8t 主要用於大規模訓練，TPU 8i 用於低延遲推論，新加入的 TPU 8tx 負責機密運算，TPU 8i Max 則鎖定龐大脈絡視窗與最高單機櫃運算密度。

聯手 AMD 首度導入機密運算，降低代理推論延遲

TPU 8tx 系統以既有的 TPU 8t 晶片為基礎，搭配客製化 AMD x86 CPU 主機，將安全機制內建於硬體層中。這項設計首度為 TPU 提供機密運算能力，確保資料在運算和傳輸過程中全程加密。除了可以在 Google 公共雲環境部署，Google 也開放特定企業將 TPU 8tx 部署於自有的地端資料中心。

為了讓多步驟 AI Agent 運作順暢，TPU 8tx 採用專為即時推論打造的 Boardfly 低延遲網路拓樸架構，相較於 TPU 8t 能提供低 2 倍的延遲表現。

TPU 8i Max 雙晶片封裝，解決百萬 Token 記憶體瓶頸

針對記憶體需求龐大的應用場景，TPU 8i Max 將 2 顆 TPU 8i 晶片整合封裝在單一模組上，提供雙倍運算能力、翻倍的 768MB SRAM 快取記憶體，以及每秒 17.2TB 的翻倍記憶體頻寬。此外，TPU 8i Max 在系統層級配置了 384GB 高頻寬記憶體（HBM），比 TPU 8i 增加 33%，專為解決龐大上下文視窗與 KV 快取產生的記憶體瓶頸。

開源多項軟體工具，強化生態系與推論效能

除了硬體系統更新，Google 亦開源了與 Meta 合作發展的 TorchTPU 原生後端，讓 PyTorch 與 Hugging Face 模型可直接在 TPU 上執行，並支援 vLLM 與 SGLang 兩大推論引擎。同時，Google 還開源了 TPU agent suite，可串接 Claude Code、Cursor、Google Antigravity 等工具進行效能調校，並推出 XLA Serving Engine 以支援跨 TPU、GPU、CPU 部署 C++ 推論環境。

為進一步優化資料傳輸，Google 開源了模型狀態層 TPU Sync，整合 HBM、DRAM、共用儲存與網路架構，使 KV 傳輸延遲與首字（first token）生成時間縮減達 90% 以上。