扩散模型的通用指导手册

出品人：Towhee 技术团队 张晨、顾梦佳

典型的扩散模型经过训练可以接受特定形式的条件指导（比如文本），但不能在没有重新训练的情况下允许其他形式为条件。 为此研究者提出一种通用的指导算法，使扩散模型无需重新训练任何指定用处的组件，就能由任意指导模式控制。 该算法成功地生成了具有引导功能的高质量图像，包括分割、人脸识别、对象检测和分类器信号。

Universal guidance algorithm vs text-conditional model

论文提出的引导算法增强了扩散模型的图像采样方法，包含了来自现成辅助网络的引导。实验发现，重建的干净图像虽然不够自然和完美，但仍然适用于通用指导函数，以提供具有信息的反馈并指导图像生成。 然后通过拓展分类器指导来激发前向的通用指导，该发现能够被用来处理通用指导。另外，反向通用指导的补充可以帮助强制生成的图像，以满足基于指导函数的约束。该算法最后使用了一种简单但有用的自复现技巧，根据经验提高生成图像的保真度。

相关资料：

• 代码地址：https://github.com/arpitbansal297/Universal-Guided-Diffusion
  

• 论文链接：Universal Guidance for Diffusion Models