主要观点:ZML 基于高性能 AI 推理栈创建 AI 产品,使用 Zig 语言、MLIR 和 Bazel 构建,分享推理栈并希望人们借此构建 AI 项目,提供多种示例模型及运行方式。
关键信息:
- 用 Bazel 构建 ZML 及依赖,可通过 bazelisk 安装,系统无 Bazel 时可参考 examples/bazel.sh。
- 有多种示例模型,如 MNIST、Meta Llama 3.1 8B、Meta Llama 3.2 1B 等,部分需 Meta 批准,可生成 HuggingFace 访问令牌。
- 可在 GPU、TPU 等加速器上运行模型,通过添加相应参数编译运行,避免 CPU 编译可减少时间。
- 包含 MNIST 模型的代码实现,还有 Tagged Tensors 相关内容。
重要细节: - MNIST 模型是手写数字识别任务,Bazel 会下载预训练模型和测试数据集。
- 运行不同模型的命令及参数,如运行 Meta Llama 3.1 8B 需设置 token 等。
- 运行测试的命令为 bazel test //zml:test。
- 可查看更多示例、阅读文档或浏览在线文档,有贡献指南和 Apache 2.0 许可证,感谢贡献者。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。