自 SAM「分割一切」模型推出之后，二创潮就开始了，有想法有行动！飞桨 AI Studio 开发者会唱歌的炼丹师就创作出 SAM 进化版，将 SAM、Stable Diffusion 集成，实现「分割」、「生成」能力二合一，并部署为应用，支持在线使用！

在线免费使用应用

创作者：会唱歌的炼丹师

作者主页：https://aistudio.baidu.com/aistudio/personalcenter/thirdview/338262

【大模型专区】当 SAM 遇到 Stable-Diffusionhttps://aistudio.baidu.com/aistudio/projectdetail/6300584

应用使用参数解读：

Text： sam 分割图像的分割对象，如输入 car，就会把图片中的 car 进行分割。Prompt： 针对分割对象的可控文本生成，输入对应的 PromptAdvanced options： 高级选项

Images： 生成图像数量

Image Resolution： 生成图像分辨率，一般使用为 512*512

Control Strength： control model 生成的条件合并到 stable diffsion 模型上的权重，默认为 1

Guess Model： 为使用更多样性的结果，生成后得到不那么遵守图像条件的结果

Segmentation Resolution： 图像分割分辨率

Steps： 推理步长

Guidance Scale： 是一种增加对指导生成（在本例中为文本）以及总体样本质量的条件信号的依从性的方法。它也被称为无分类器引导，简单地说，调整它可以更好的使用图像质量更好或更具备多样性。值介于 7 和 8.5 之间通常是稳定扩散的好选择。 默认情况下使用为 7.5。

如果值很大， 图像质量可能更好，但对应的多样性会降低

如果值很小， 图像质量可能更差，但对应的多样性会增加

Seed： 随机种子数

eta (DDIM)： DDIM 采样方法

Added Prompt： 在上述 Prompt 基础上所额外添加的提示，使生成的图片更好

Negative Prompt： 控制 sd 生成的图片把那些相关提示过滤

使用技术

Segment Anything： 提示词分割的大模型

ControlNet Canny ： 对分割图进行边缘检测，以此作为图像生成的控制条件

Stable Diffusion ： 文本到图像的扩散大模型通过 Segment Anything Model 强大的图像分割能力，我们可以很好的得到分割后的像素图。然后由 ControlNet with Stable Diffusion 将控制图为不同语义的分割图和文本（prompt）作为控制条件来完成 Segment to Image 任务。这样 Segment Anything Model 通过 ControlNet 与 Stable Diffusion 进行集成。

fork 项目运行

fork 该项目

启动进入线上开发环境

建议选择 V100 32GB 开发环境。

飞桨 AI Studio 每周运行项目即可免费获得 56 小时 V100 32G 算力

安装 ppdiffusers 依赖

1# 安装paddlenlp和ppdiffusers依赖2!pip install "paddlenlp>=2.5.2" "ppdiffusers>=0.11.1" safetensors --user

1# 采用Canny边缘检测图片作为控制条件2!python gradio_canny2image.py

1# 采用ADE20K分割协议的图片作为控制条件2!python gradio_seg2image_segmenter.py

安装 ppsegSAM 依赖

1# 安装依赖2!pip install -r requirements.txt --user

1# 下载样例图片2!mkdir ~/examples3%cd ~/examples4!wget https://paddleseg.bj.bcebos.com/dygraph/demo/cityscapes_demo.png

1# 下载分词表2%cd ~3!wget https://bj.bcebos.com/paddleseg/dygraph/bpe_vocab_16e6/bpe_simple_vocab_16e6.txt.gz

1# 运行脚本2!python scripts/text_to_sam_clip.py --model-type vit_h

AI 技术日日迭代，期待各位开发者精彩创作，也诚邀各位开发者加入 AI Studio 进行开源创作，详细创作激励体系请点击下方链接。

https://aistudio.baidu.com/aistudio/cooperate/appcreation