GitHub - zml/zml: 任何模型。任何硬件。零妥协。使用 @ziglang / @openxla / MLIR / @bazelbuild 构建

主要观点:ZML 基于高性能 AI 推理栈创建 AI 产品,使用 Zig 语言、MLIR 和 Bazel 构建,分享推理栈并希望人们借此构建 AI 项目,提供多种示例模型及运行方式。
关键信息

  • 用 Bazel 构建 ZML 及依赖,可通过 bazelisk 安装,系统无 Bazel 时可参考 examples/bazel.sh。
  • 有多种示例模型,如 MNIST、Meta Llama 3.1 8B、Meta Llama 3.2 1B 等,部分需 Meta 批准,可生成 HuggingFace 访问令牌。
  • 可在 GPU、TPU 等加速器上运行模型,通过添加相应参数编译运行,避免 CPU 编译可减少时间。
  • 包含 MNIST 模型的代码实现,还有 Tagged Tensors 相关内容。
    重要细节
  • MNIST 模型是手写数字识别任务,Bazel 会下载预训练模型和测试数据集。
  • 运行不同模型的命令及参数,如运行 Meta Llama 3.1 8B 需设置 token 等。
  • 运行测试的命令为 bazel test //zml:test。
  • 可查看更多示例、阅读文档或浏览在线文档,有贡献指南和 Apache 2.0 许可证,感谢贡献者。
阅读 55
0 条评论