要点速览
- 核心结论：第八代 TPU 一年发布了四个系统：除了 8t（扩规模训练）与 8i（低延迟推理），新增 8tx（硬件级机密推理）与 8i Max（双芯片封装，算力、SRAM、HBM 带宽翻倍，瞄准百万 token 上下文与最高机架算力密度）。
- 两台新机器的机制：8tx 在 8t 同款硅片上加第五代 AMD EPYC 宿主与 Boardfly 低延迟网络，数据在使用中也加密隔离，延迟相对 8t 最多降一半、性能代价近零；8i Max 把两颗 8i 封进一个封装，同一机架占地算力翻倍。
- 软件同步开放：TorchTPU 让 PyTorch 与 Hugging Face 模型原生跑在 TPU 上（vLLM、SGLang 开箱即用）；TPU Sync 把芯片 HBM、宿主 DRAM、共享存储与数据中心网络拼成统一显存层级，KV 传输延迟与首 token 时间降低 90% 以上；Agent Compute Engine 自动挂起、恢复空闲会话。
Google 第八代 TPU 在一年内交出了四个系统：4 月的 8t（大规模训练）与 8i（实时推理），以及今天的 8tx（安全机密推理）和 8i Max（超大上下文窗口）。四个系统分别覆盖 Agent 生命周期的不同阶段——8t 负责扩规模训练，8i 负责低延迟推理，8tx 负责机密计算，8i Max 负责超大上下文与最高算力密度。
两款新机器各解决一个新痛点：8tx 把安全下沉到硬件层，数据与模型权重在使用过程中同样受到保护与隔离；8i Max 则把两颗 8i 芯片封进一个封装，算力、SRAM、HBM 带宽全部翻倍，直指数十个 Agent 同时处理整个代码库或数小时视频时的显存墙。配套软件也在同步开放：TorchTPU 让 PyTorch 代码原生跑在 TPU 上，TPU Sync 把 KV 缓存分层，首 token 时间降低 90% 以上。
第八代 TPU 一年四发
十多年前设计 TPU 的初衷是满足 Google 内部需求，比如语音识别与语言翻译。走到第八代，用例早已大幅扩展：训练与推理 Gemini 模型、承载 Agent 工作负载、向 Google Cloud 客户提供服务，近期还允许客户把 TPU 直接部署到自己的数据中心。TPU 现在是一项快速增长的业务，拥有近 100 家客户，涵盖前沿实验室、交易公司、零售商和高校。
今年 4 月的 Google Cloud Next 大会上，同代产品率先发布了两颗专用 TPU：面向大规模训练的 8t 和面向实时推理的 8i。8t 的训练性能相比上一代最高提升 2.7 倍，8i 的推理性价比提升了 80%。
如今，第八代产品线再添两套新系统：8i Max（超大上下文窗口、每机架最高算力密度）与 8tx（安全机密推理）。这也是 TPU 历史上第一次在一年内推出四套系统。
图1：TPU 8tx（左）与 TPU 8i Max（右）。8tx 是三芯片板，8i Max 是双芯片封装的八芯片板。
图2：第八代 TPU 全家福：8t（扩规模训练）、8i（低延迟推理）、8tx（机密计算）、8i Max（超大上下文与密度）。
TPU 从一开始就与 Google DeepMind 联合设计，现在则越来越多地接收到外部组织对具体需求的反馈。计算需求正从人的规模走向 Agent 的规模：企业需要加速器能够跨模型处理超大上下文窗口的推理，而强监管行业的客户还要求针对特定工作负载提供专用的加密能力。
今天发布的新系统正是为了应对这一新现实。再加上最近的 PyTorch 支持，目标也很明确：让每一位开发者和 Cloud 客户都能更轻松地用上 TPU——模块化定制硅片配合开放易用的软件栈，以 AI 行业的速度交付新硬件与系统配置。
围绕芯片造计算机
今天发布的是两台新 TPU 系统。这里需要强调一个关键区别：芯片与系统。
设计一颗新芯片，意味着在硅片上排布数十亿个微型晶体管——这是一个持续数年、受物理定律和漫长制造周期约束的过程。而系统要解决的是另一个问题：如何把芯片周围的算力、网络和存储组织到一起，包括封装方式，从而快速响应新出现的客户需求与研究用例。
十多年前打造第一颗 TPU 时，团队就清楚一个事实：AI 软件的演进速度永远快于硅制造。因此他们押注系统平衡与模块化，把 TPU 变成 AI Hypercomputer 的积木，工程师可以快速调整封装、高速显存、光网络与安全配置。这套思路让专用超级计算机能在几个月内交付，而非几年。
为安全与高上下文专用
第八代产品线中的每套系统都瞄准 AI 生命周期的不同阶段。8t 与 8i 奠定了这一代芯片的基线：
- 8t 是训练主力，面向大规模基础模型，追求最大 goodput——也就是每瓦能源产出的有用智能。
- 8i 是推理引擎，专为打破显存墙而生，芯片间通信延迟最多降低一半。
如今，越来越多的企业把自主 Agent 投入生产。团队基于这两个基础系统打造了两个新配置，针对两个紧迫的新挑战：硬件级数据安全与百万 token 级上下文规模。
TPU 8tx
8tx 是第八代第三套系统，专门为安全机密推理优化，同时也适合小规模训练。它的目标用户是受监管行业的企业与政府机构，需要在前沿或专有模型和自主 Agent 旁边处理最敏感的数据。
通常数据在存储或网络传输时加密，但计算机处理时必须在内存中解锁。8tx 建在与 8t 相同的硅片上，配备第五代 AMD EPYC CPU 作为宿主，把安全直接下沉到硬件层：敏感数据与模型权重在使用过程中同样受到保护与隔离。再加上为实时推理打造的低延迟 Boardfly 网络，8tx 能让多步 Agent 持续运转，延迟相对 8t 最多降低一半，性能代价几乎为零。
训练级算力叠加快速推理网络，还意味着组织可以在同一套系统上同时运行与定制模型：8tx 允许团队用私有数据微调模型、将大模型蒸馏成小模型、用强化学习训练 Agent，全程无需在不同集群之间迁移敏感数据。
一句话总结：8tx 为敏感企业工作负载提供硬件级机密计算，支撑私有微调与安全的 Agent 执行。
TPU 8i Max
第四套系统 8i Max 解决的是另一个问题：显存墙。
当数十个 AI Agent 同时处理整个软件代码库或数小时视频时，显存带宽会很快成为瓶颈。于是团队把两颗低延迟 TPU 8i 芯片合并到一个封装中。
8i Max 让算力与显存同步翻倍：算力、SRAM、HBM 带宽均为 8i 的两倍，处理器手头始终有需要的数据，大负载不会卡顿。更关键的是，8i Max 在现有机器占地里塞进了两倍硅片，数据中心每平方英尺、每瓦可部署的算力显著提升。
一句话：双芯片的 8i Max 系统为超大上下文窗口与最高算力密度而生。
向每个开发者开放 TPU
十多年前第一颗 TPU 发布时，只有少数公司运行需要 TPU 算力的工作负载，用例非常专注，工程师依靠优化框架与手工调优代码。
随着 AI 的不断推进，越来越多的公司开始使用加速器。如今，AI 的普及已经到了 TPU 对大量公司和用例都合适的程度，团队也一直在系统性地拆掉采用门槛，让 TPU 像通用硬件一样易用。
这笔投入今天在几个关键方向上汇合：
- 向每个 PyTorch 开发者开放 TPU 开发，无需重写代码：上个月开源的 TorchTPU 让 PyTorch 代码与 Hugging Face 模型原生跑在 TPU 上，vLLM 与 SGLang 等主流开源推理引擎的 TPU 后端开箱即用。新的开源 TPU Agent 套件（现为预览版）可直接接入 Claude Code、Cursor、Google Antigravity 等编码工具，用自然语言在几分钟内完成 TPU 上手、瓶颈诊断与自定义 kernel 的自动调优。生产部署方面，新的开源 XLA Serving Engine 支持在 Python 中训练模型，再直接将其部署到低延迟的 C++ 运行时中，横跨 TPU、GPU、CPU。
- 业界领先的生产性能（InferenceX 与 AgentX 基准）：生产中真正重要的是真实 AI 工作负载上的结果，而非理论峰值芯片速度。业界标准 InferenceX 与 AgentX 基准（测试真实 Agent 编码与长上下文工作负载）在 TPU 上的原生 vLLM-TorchTPU 软件栈取得了业界领先的性价比。新评估显示，这些优势覆盖了大量前沿开放模型与开源服务栈，同时保持高模型精度；同一硬件上的后续软件优化还会进一步推高结果。
- 消除自主 Agent 的空闲算力浪费：AI Agent 是有状态的，经常在等待数据库查询、外部软件工具或人工反馈时暂停数秒甚至数小时。新的 Agent Compute Engine 软件会在暂停期间自动挂起、恢复空闲会话，从而削减运营基础设施成本。
- 用模型状态层（TPU Sync）突破显存墙：围绕芯片造计算机也意味着在软件层统一显存、存储与网络。当 Agent 跨百万 token 上下文推理、跑连续强化学习循环时，显存很快就会成为瓶颈。正在开源的 TPU Sync 是 TPU 集群的模型状态层。TPU Sync 把芯片 HBM、宿主 DRAM、共享存储与数据中心网络拼成一个协同设计的显存层级：自动把大 KV缓存 毫秒级分层出芯片、在分离的 prefill 与 decode 节点之间流式传输上下文、同步 RL 权重，把 KV 传输延迟与首 token 时间（TTFT）降低 90% 以上。
- 从单个控制器横跨 TPU 扩展分布式工作负载：现已在 Google Kubernetes Engine（GKE）上全面可用，Cloud Pathways 将 Gemini 背后的 Google DeepMind 运行时带给每一位 Google Cloud 客户。借助单控制器架构与 pathwaysutils，用户能像操作一台本地机器一样跨多个 slice 编排大规模 TPU 系统，执行预训练、强化学习与多机推理。Cloud Pathways 通过并置 Python sidecar、亚分钟级 slice 热替换与弹性重分片，让长任务在硬件中断中继续运行。
- 用 GKE 动态切片按需拼接自定义 TPU 拓扑：现已全面可用，GKE 动态切片利用光路交换（OCS）技术把物理硬件供给与逻辑 slice 形成解耦。它可以动态将 TPU 立方体拼成更大的拓扑（超切片）或切成更小、隔离的工作负载（子切片），彻底消除僵硬的手动节点池重建周期。拓扑敏捷性把任务启动时间最多降到五分之一、故障恢复最多快 4.5 倍，最大化整个机队的利用率与工作负载 goodput。
结语
第八代 TPU 一年四发，背后的逻辑是系统而非芯片：硅片不变，改封装、显存、网络与安全，几个月内就能针对新需求交付专用系统。8tx 把安全做到硬件层，8i Max 把两颗芯片封进一个封装，分别瞄准机密推理与百万 token 上下文两个新问题。
软件与硬件同步开放：TorchTPU 让 PyTorch 代码原生跑在 TPU 上，TPU Sync 把 KV 缓存分层、首 token 时间降低 90% 以上，Agent Compute Engine 自动挂起空闲会话。TPU 的门槛正从专用硬件降到通用硬件的水平，Agent 时代的基础设施也在变成：为每个生命周期阶段准备一台专用加速器。
参考： https://blog.google/innovation-and-ai/infrastructure-and-cloud/global-network/tpu-8i-max-and-8tx/
发表于 13 小时前
|
查看: 0|
回复: 0
/1 
