谷歌推出用于 AI 推理的 Ironwood TPU

主要观点:Google 在 Google Cloud Next 25 上推出第七代 Tensor Processing Unit(TPU)Ironwood,这是其性能最高、可扩展性最强的定制 AI 加速器,专为推理工作负载设计,标志着从响应式 AI 模型向主动生成洞察和解释的模型转变。
关键信息

  • Ironwood 可扩展至 9216 个液冷芯片,通过芯片间互连(ICI)网络连接,是 Google Cloud AI 超级计算机架构的关键组件,开发者可利用 Pathways 软件栈利用其计算能力。
  • 它旨在管理大型语言模型、专家混合模型和高级推理任务的计算和通信需求,减少数据移动和延迟。
  • 有 256 芯片和 9216 芯片两种配置,9216 芯片的 Ironwood 计算能力是 El Capitan 超级计算机的 24 倍以上。
  • 具备增强的 SparseCore,可处理超大型嵌入,在功率效率、内存、ICI 带宽等方面相比上一代有显著提升。
  • 有多个 Reddit 线程讨论其影响,有人认为 Google 有优势,有人觉得对 NVIDIA 影响不大,也有人希望能单独出售芯片。
  • Google 称 Ironwood 提供了计算能力、内存容量、ICI 网络进步和可靠性的提升,领先模型在 TPU 上运行,且 DeepMind 利用 AI 辅助 TPU 设计,AlphaChip 已用于其他芯片设计。
    重要细节
  • 各方面性能提升数据,如功率效率提升 2 倍、每芯片 HBM 为 192GB 是上一代 6 倍等。
  • 给出了不同芯片配置的对比数据,如 9216 芯片 Ironwood 与 El Capitan 超级计算机的计算能力对比。
  • 提到多个相关项目和公司,如 AlphaChip 用于 Google Axion 处理器及 MediaTek 芯片开发等。
阅读 10
0 条评论