扩散模型的通用指导手册
出品人:Towhee 技术团队 张晨、顾梦佳
典型的扩散模型经过训练可以接受特定形式的条件指导(比如文本),但不能在没有重新训练的情况下允许其他形式为条件。 为此研究者提出一种通用的指导算法,使扩散模型无需重新训练任何指定用处的组件,就能由任意指导模式控制。 该算法成功地生成了具有引导功能的高质量图像,包括分割、人脸识别、对象检测和分类器信号。
![](https://static001.geekbang.org/infoq/e4/e4b573d4702fe794dd8dfa982814c01b.png)
Universal guidance algorithm vs text-conditional model
论文提出的引导算法增强了扩散模型的图像采样方法,包含了来自现成辅助网络的引导。实验发现,重建的干净图像虽然不够自然和完美,但仍然适用于通用指导函数,以提供具有信息的反馈并指导图像生成。 然后通过拓展分类器指导来激发前向的通用指导,该发现能够被用来处理通用指导。另外,反向通用指导的补充可以帮助强制生成的图像,以满足基于指导函数的约束。该算法最后使用了一种简单但有用的自复现技巧,根据经验提高生成图像的保真度。
相关资料:
评论