InstantStyle 图像生成器使用教程

InstantStyle 是由小红书的 InstantX 团队开发的一个开源项目，该团队之前也开发了 InstantID 框架。

InstantStyle 是一款更加强大的风格迁移模型，以往基于扩散模型的方法（比如 Lora）需要大量的数据进行训练，并且无法迁移到新的风格上。而 InstantStyle 完成了多用途图像风格注入，可以实现风格与内容的有效分离，输入任意一种图像即可提取对应的风格，无需重新训练即可进行风格迁移。

使用云平台：openbayes.com/console/signup?r=sony_0m6v

登录 OpenBayes 平台，在「公共教程」中找到「InstantStyle 风格一致的图像生成器」的教程。

该教程已经搭建好了环境，点击「克隆」，可以直接将教程克隆至自己的容器启动。

算力选择 RTX 4090 以及 PyTorch 的镜像后，选择【下一步：审核】-【继续执行】

首次克隆需要等待 3-5 分钟，等它分配好资源后，打开工作空间。

在工作空间新建一个终端，输入 cd gradio_demo 命令，将工作目录切换到gradio_demo 文件夹。

随后运行 pip install -r requirements.txt 命令，安装所需依赖。

安装好依赖后，输入 python app.py ，稍等-下，当终端输出Running on local URL: http://0.0.0.0:8080命令后，打开右侧的 API 地址就可以跳转至 gradio 界面了。

跳转页面后，在 Style Image 上传一张风格参考图片，生成的图片会和这个图片保持一致的风格；右侧的图片则是生成的结果图像。

Style mode 有 3 种模式：仅提取特定特征；注入风格和构图特征；注入图像原始特征。

在 Prompt 处可以输入英文提示，生成的图片就会根据提示进行生成；Scale 则表示控制模型与提示它们的影响程度的参数。Scale 越低，Prompt 的影响越小。

我们加载一个示例来进行演示，该示例是以星空作为风格图像。

我们可以将 prompt 中的 cat 修改为 dog，生成一只星空风格的狗。

我们可以通过调整参数来改变狗的大小。

还可以使用图生图的功能，将图片上传到框中，就会依据上传的图片进行生成。

此处有一个图生图的范例，也是以星空作为风格，以人像作为输入。

其他参数

Controlnet conditioning scale ：数字越大，Controlnet 模型在这里面的权重就越大；

Neg Prompt ：负面提示；

Neg Content Prompt ：负面提示词影响的大小；

guidance scale：文本提示的影响；

num samples ：采样数；

num inference steps ：推理步数；

Seed value： 随机数的种子；

randomize seed： 勾选后会复现同一结果。