主要观点：

• GPU 在实时图形渲染和机器学习等任务上比 CPU 强大 10 到 100 倍，但其潜力未充分利用于其他工作负载，主要受困于执行模型不佳和语言工具不足。
• 现代 GPU 极其复杂，新功能虽有进步但仍存在基本任务未完全支持的情况。
• 过去有一些有前景的并行计算机设计，如 Connection Machine、Cell 和 Larrabee，但因各种原因未流行起来。
• 游戏等领域的计算工作负载占比增加，GPU 设计有向高度并行通用计算机发展的趋势，但仍面临诸多挑战。
• 从当前状态到良好的并行计算机有多种路径，如大核心网格、从 GPU 侧调度 Vulkan 命令、工作图、CPU 趋同进化等，但都存在局限性。
• GPU 生态系统复杂度极高，带来诸多问题，与 CPU 世界形成鲜明对比。

关键信息：

• GPU 强大但执行模型和工具受限，如在 Vello 程序中存在内存分配问题。
• 过去的并行计算机设计及特点，如 Connection Machine 的超立方体网络和大量处理器、Cell 的 8 个并行核心和本地 SRAM 管理、Larrabee 的标准 x86 计算机架构和特殊硬件优化。
• 游戏中计算工作负载的增加及相关渲染技术的变化，如 Nanite 渲染器使用计算进行小三角形光栅化。
• 通向良好并行计算机的路径，包括大核心网格的 AI 加速器、从 GPU 侧调度工作、工作图的局限性及 CPU 趋同进化等。
• GPU 生态系统的复杂度导致驱动和编译器问题、核心 API 功能和性能受限等。

重要细节：

• Vello 程序在内存管理方面的问题及潜在解决方案，如估计内存需求、重试渲染等。
• 各种并行计算机设计的技术细节，如 Connection Machine 的处理器数量和架构、Cell 的核心和内存配置、Larrabee 的指令集等。
• 不同路径的特点和挑战，如大核心网格的核心数量和向量单元、从 GPU 侧调度的编程模型和延迟问题、工作图的节点和边结构及局限性等。
• GPU 生态系统复杂度对驱动、编译器和 API 的影响，如多个 API 的语义差异和扩展的检测。