精准控图工具 Concept Sliders：超好用的 控制 Lora 适配器

Concept Sliders

你有没有遇到这样的情况？你花费大量时间制作提示和寻找种子，以使用文本到图像模型生成所需的图像。但是，你还需要对生成图像中的属性强度（如眼睛大小或照明）进行更细致、更精细的控制。修改提示会破坏整体结构。艺术家需要保持连贯性的表达控制。你该怎么办呢？

如果你也有这样的困扰，不妨来试试 Concept Sliders。它是应用于预训练模型之上的即插即用低秩适配器。通过使用简单的文本描述或一小组配对图像，然后训练概念滑块来表示所需属性的方向。在生成时，这些滑块可用于控制图像中概念的强度，从而实现细微的调整。

Concept Sliders

Concept Sliders 实用效果

Concept Sliders 的概念滑块可以在文本提示、图像对或 StyleGAN 样式空间神经元上进行训练，以识别扩散模型中的目标概念方向，以实现精确的属性控制。

创作团队提出了两种类型的训练：单独使用文本提示和使用图像训练。对于难以用文本描述的概念或模型无法理解的概念，他们更建议使用图像对训练。这里我们讨论一下文本概念滑块的训练。

文本训练原理

文本训练原理

这个想法很简单但很强大：预训练模型 Pθ*（x） 有一些预先存在的概率分布来生成概念 t，因此我们的目标是通过形成一个新的模型 Pθ（x） 来学习模型层的一些低秩更新，该模型通过降低属性 c- 的概率来重塑其分布并根据原始预训练模型，当以 T 为条件时，提高图像中属性 c+ 的概率。

文本训练原理

这与基于组合能量的模型背后的动机相似。在扩散中，它导致了一个简单的微调方案，该方案通过减去一个组件并添加一个以目标概念为条件的组件来修改噪声预测模型。

该团队查询冻结的预训练模型以预测给定目标提示的噪声，并控制属性提示，然后在训练时使用无分类器指导而不是推理的思想来训练编辑后的模型，将其引导到相反的方向。他们发现，使用此目标微调滑块权重非常有效，可以生成一个即插即用的适配器，直接控制目标概念的属性。

文本训练原理

在实践中，他们还注意到这些概念彼此纠缠在一起。例如，当他们尝试控制一个人的 age 属性时，这个种族在推理过程中会发生变化。为了避免这种不必要的干扰，建议使用一小组保留提示来找到方向。这不是单独使用一对单词来定义属性，而是通过使用多个文本组合来定义它，找到一个改变目标属性的方向，同时保持其他 attribute-to-preserve 不变。

实际应用效果

使用测试效果展示

Concept Sliders 的操作其实也十分简单，只需要输入提示词然后选择自己需要调整的风格，例如我这里选择的就是手部修复，点击生成之后就可以看见用原模型与使用了Concept Sliders 的效果对比了。可以看到手部的修复系统还是十分好用的，起到了很不错的效果。

官方效果图例展示

Concept Sliders 的功能还有很多，例如细节优化、粘土风格、年龄调整、肌肉调整、身材调整等十余个风格或者部位的调整。以这个修复细节的滑块展示为例，修复滑块使模型能够生成更逼真且不失真的图像。此滑块控制下的参数可帮助模型纠正其生成输出中的一些缺陷，例如 （a， b） 中扭曲的人类和宠物、（b， c， d） 中的非自然对象以及 （b，c） 中模糊的自然图像。 

有关厚德云

厚德云致力于为用户提供稳定、可靠、易用、省钱的 GPU 算力解决方案。海量 GPU 算力资源租用，就在厚德云。