主要观点:Arm Scalable Matrix Extension 2(SME2)在 Armv9 - A 架构中,是用于加速矩阵重计算的高级 CPU 指令集,旨在帮助移动开发者在无需更改应用的情况下,直接在 CPU 上运行先进 AI 模型,提升性能和效率。
关键信息:
- SME2 基于先前的 SME 扩展,添加了多向量数据处理指令等加速和支持。
- SME2 的性能优势已在最新 iOS 设备和 Apple M4 系列芯片上可用,很快也将到达 Android 设备。
- 矩阵工作流对实时移动推理任务关键,SME2 能显著提升性能,如 Google 的 Gemma 3 模型聊天响应快 6 倍等。
- Arm 提供名为 KleidiAI 的库,集成在 Google 的 XNNPACK 中,可自动将矩阵重操作路由到 SME2。
- KleidiAI 基于微内核架构,易集成到 C 和 C++代码库,每个微内核处理输出张量的一部分,可跨多线程调度。
- KleidiAI 不依赖外部依赖、不使用动态内存和无需内存管理,设计高度模块化。
重要细节: - Armv9 - A 架构链接。
- 在 Android 移动应用中运行的相关博客链接。
- SME 概述及与 SME2 关系的文档链接。
- 最新 iOS 设备和 Apple M4 系列芯片的相关信息链接。
- vivo X200 Pro 旗舰智能手机的相关测试链接。
- KleidiAI 的 GitLab 链接。
- 展示基于 LLM 应用的资源链接。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。