主要观点：

• 探索 GPU 可用的不同类型内存，重点介绍缓存，理解 GPU 缓存行为可提升应用性能。
• 介绍缓存的目的、组织层次及相关概念，如缓存行、缓存命中率等。
• 对比 CPU 和 GPU 的缓存层次，GPU 核心更多，缓存层次相似但有差异。
• 讨论缓存一致性问题，CPU 有缓存一致性协议，GPU 通常不一致，需显式刷新或使缓存无效。
• 分别介绍 GPU 各核心的指令缓存、数据缓存、设备全局缓存、共享内存及其他缓存。
• 强调 GPU 与 CPU 任务类型不同，缓存使用模式差异大，注意数据同步。
• 还提及不同类型的暂存内存及 GPU 的虚拟内存地址转换缓存层次。

关键信息：

• CPU 处理能力增长快于内存访问速度，催生处理器缓存。
• GPU 缓存层次通常有核心私有的一级缓存和跨核心共享的末级缓存，且一级缓存分为指令缓存和数据缓存。
• GPU 缓存通常不一致，需显式处理以保持数据一致性。
• 各核心指令缓存通常较小，数据缓存容量相对 CPU 较小，但在特定访问模式下有优势。
• 设备全局缓存提供跨核心的一致缓存数据，支持原子操作。
• 共享内存用于同工作组内计算线程共享数据，NVIDIA 曾将 L1 数据缓存和共享内存合并。
• 其他缓存包括顶点属性缓存、ROP 缓存等，不同类型缓存在 GPU 中发挥特定作用。

重要细节：

• Intel Core 2 Duo 缓存层次示例及现代 CPU 更复杂缓存层次。
• GPU 中不同架构的核心线程数量及相关缓存参数对比。
• 如 AMD GCN、NVIDIA 各代架构的缓存特点。
• 不同缓存在 GPU 图形和计算任务中的作用及影响。
• 相关硬件供应商的架构白皮书等资料可用于深入了解。