谷歌云发布第六代Trillium TPU:更高性能、可扩展性和效率

Google Cloud 正式宣布其第六代张量处理单元(TPU)Trillium 的全面可用性(GA)。Trillium 是一款专为满足大规模人工智能工作负载需求而设计的 AI 加速器,提供更高的性能、能效和可扩展性。

Trillium 于 2024 年 5 月发布,是 Google Cloud AI 超级计算机(AI Hypercomputer)的关键组成部分。AI 超级计算机是一种利用性能优化硬件、开源软件、领先机器学习框架和灵活消费模式的超级计算机架构。

随着 Trillium TPU 的全面可用,Google 增强了 AI 超级计算机的软件层,优化了 XLA 编译器以及 JAX、PyTorch 和 TensorFlow 等流行框架,以提高 AI 训练和推理的性价比。通过大容量主机 DRAM 与高带宽内存(HBM)的配合,Trillium 进一步提升了效率。

Google 表示,Trillium 的训练性能是上一代的四倍以上,推理吞吐量最高可达上一代的三倍。其能效提升了 67%,在提供更快性能的同时也更加环保,符合可持续技术的趋势。Trillium 的峰值计算性能是上一代的 4.7 倍,非常适合计算密集型任务。

Trillium TPU 还用于训练 Google 的 Gemini 2.0 AI 模型。有评论指出,Google 的 TPU 已用于训练至少五年,甚至可能超过十年,并且在广告领域的深度预测模型训练中,TPU 的容量可能已经超过了 CPU 和 GPU 的总和。

目前,Nvidia 占据了 AI 数据中心芯片市场的 70% 到 95%,其余份额则由 Google 的 TPU 等产品占据。Google 不直接销售 TPU 芯片,而是通过其云计算平台提供服务。

有评论认为,Google 更注重未来,高效的 AI 最终将比芯片本身更具价值。这种策略类似于“制造家具比出口木材更能创造价值”的理念,即 TPU 和 AI 的结合比单独的两者更有价值。

关于定价和可用性的更多信息可以在 Google Cloud 的定价页面找到。

阅读 22
0 条评论