【CVPR2024】阿里云人工智能平台 PAI 图像编辑算法论文入选 CVPR2024

2024-06-17
浙江
本文字数：1627 字
阅读完需：约 5 分钟

近期，阿里云人工智能平台 PAI 发表的图像编辑算法论文在 CVPR-2024 上正式亮相发表。论文成果是阿里云与华南理工大学贾奎教授领衔的团队共同研发。CVPR（计算机视觉与模式识别会议）是计算机视觉和模式识别领域的顶级国际会议，旨在展示最新的研究进展和技术成就，推动这一领域理论与应用的前沿进展，并通过精选提交的高水平学术论文和实践工作，对学术界和工业界产生深远的影响。此次入选标志着阿里云人工智能平台 PAI 自主研发的图像编辑算法达到了先进水平，赢得了国际学术界的认可。在阿里云人工智能平台 PAI 算法团队和华南理工大学的老师学生们一同的坚持和热情下，将阿里云在图像生成与编辑领域的先进理念得以通过学术论文和会议的形式，向业界传递和展现。

基于文本引导的图像编辑任务允许用户使用简单的文字描述来指导修改一幅图像，无需具备复杂的图像编辑软件或专业知识即可实现编辑效果。用户可以通过输入文本对图像进行涉及颜色变更、物体添加或去除、风格转换等多种编辑的操作。这种交互式的编辑方式大大降低了图像编辑的门槛，使得创意表达更加便捷和个性化。

目前的一些先进图像编辑方法，例如 Prompt-to-Prompt（P2P），通过替换与目标编辑术语相对应的源提示中的交叉注意力图来改变图像的特定区域。而 Plug-and-Play（PnP）策略则是先从注意力层提取原始图像的空间特征和自注意力，再将它们注入到目标图像的生成过程中。在这些技术中，注意力层对于控制图像布局以及确立输入提示与生成图像之间的关联起着至关重要的作用。但是，对注意力层的不恰当调整可能会带来意外的编辑结果或者编辑失败。例如，在交叉注意力层进行编辑时，真实图像可能因此而失去预期效果，如尝试将人类编辑成机器人或将汽车颜色变更为红色的编辑尝试可能不会成功。

图 1. 图像编辑的失败案例以及我们提出的方法成功编辑的结果

在我们的研究中，我们介绍了一种名为 Free-Prompt-Editing(FPE)的简洁而高效的算法。FPE 通过在去噪阶段替换指定注意力层的自注意力图进行图像编辑，这一过程中解放了需要源提示的限制，这对实际的真实图像编辑场景极有价值。总体来说，我们的研究促进了对稳定扩散（Stable Diffusion）中注意力图的理解，并针对文本引导的图像编辑（Text-Image-Editing，简称 TIE）提供了切实可行的解决策略。图 2 展示了 FPE 算法在合成图像上实施编辑的具体过程。

图 2：Free-Prompt-Editing 在对合成图像进行编辑的过程示意图

Free-Prompt-Editing 伪代码如下：

图 3：Free-Prompt-Editing 在合成图像编辑和真实图像编辑场景下的伪代码

图 4 展示了 FPE 的编辑结果，它成功地转换了原始图像的各种属性、风格、场景和类别。

图 4：Free-Prompt-Editing 编辑结果示例

图 5 呈现了 FPE 技术应用于基于稳定扩散算法的其他定制模型中的编辑效果。观察这些成果，我们可以发现 FPE 技术能够高效地适用于各种扩散模型。它不仅成功实现了性别转换，把女孩变为男孩，还能够调整人物的年龄，使男孩呈现出 10 岁或 80 岁的特征；此外，它还能修改发型、变换头发色彩、替换背景乃至进行类别上的转变。