m1上怎么安装ml-stable-diffusion，有大佬知道吗？

Question

有大佬搞过这个吗？

Answer 1

你想要在m1上使用Core ML运行ml-stable-diffusion的方法和代码。具体的操作：
确保你的电脑是macOS 13.1或以上，并且安装了Python 3.8和Xcode 14.2或以上。
https://github.com/apple/ml-stable-diffusion
克隆或者下载这个仓库到你的电脑，然后进入python_coreml_stable_diffusion文件夹。
你要先安装所需的依赖包，你可以使用pip或者conda来安装，比如：
pip install -r requirements.txt
使用convert.py脚本来将PyTorch模型转换为Core ML模型，你可以从Hugging Face Hub上下载一些预训练的ml-stable-diffusion模型，比如stabilityai/stable-diffusion-2-base，然后指定模型的路径和输出的文件名，比如：

python convert.py --model-path stabilityai/stable-diffusion-2-base --output-filename stable_diffusion_2_base.mlmodel

使用generate.py脚本来使用Core ML模型进行图像生成，你可以指定模型的路径和文本提示，比如：

python generate.py --model-path stable_diffusion_2_base.mlmodel --prompt "a high quality photo of an astronaut riding a horse in space"

如果你想要在Swift中使用Core ML模型进行图像生成，你可以将生成的.mlmodel文件拖拽到Xcode项目中，并且添加StableDiffusion这个Swift包作为依赖，然后使用StableDiffusionGenerator类来创建一个图像生成器，并且调用generate方法来生成图像，比如：

import StableDiffusion

let model = StableDiffusion_2_Base()
let generator = StableDiffusionGenerator(model: model)
generator.generate(prompt: "a high quality photo of an astronaut riding a horse in space") { result in
  switch result {
  case .success(let image):
    // do something with the image
  case .failure(let error):
    // handle the error
  }
}

这样，你就可以在m1上安装和使用ml-stable-diffusion了。如果你遇到任何问题或者错误，你可以查看仓库中的FAQ或者提交一个issue。