出品人:Towhee 技术团队 张晨、顾梦佳

典型的扩散模型经过训练可以接受特定形式的条件指导(比如文本),但不能在没有重新训练的情况下允许其他形式为条件。 为此研究者提出一种通用的指导算法,使扩散模型无需重新训练任何指定用处的组件,就能由任意指导模式控制。 该算法成功地生成了具有引导功能的高质量图像,包括分割、人脸识别、对象检测和分类器信号。

Universal guidance algorithm vs text-conditional model

论文提出的引导算法增强了扩散模型的图像采样方法,包含了来自现成辅助网络的引导。实验发现,重建的干净图像虽然不够自然和完美,但仍然适用于通用指导函数,以提供具有信息的反馈并指导图像生成。 然后通过拓展分类器指导来激发前向的通用指导,该发现能够被用来处理通用指导。另外,反向通用指导的补充可以帮助强制生成的图像,以满足基于指导函数的约束。该算法最后使用了一种简单但有用的自复现技巧,根据经验提高生成图像的保真度。

相关资料:
代码地址:https://github.com/arpitbansal297/Universal-Guided-Diffusion
论文链接:Universal Guidance for Diffusion Models


Zilliz
154 声望829 粉丝

Vector database for Enterprise-grade AI