【AI 模型】首个 Joy 模型诞生！！！全民生成 Joy 大片 | 京东云技术团队

2023-10-07
北京
本文字数：1699 字
阅读完需：约 6 分钟

接上一篇文章 “只要10秒，AI生成IP海报，解放双手”，这次是全网第一个“共享 joy 模型”，真的赚到了！

经过这段时间无数次的探索、试错、实验，最终积累了非常多的训练经验，在不同 IP 角色的训练上实际上需要调试非常多的参数以及素材。本次成功完成了 Joy 的 Lora 模型，虽然在泛化以及场景上未来还有着很多的空间，但是本次的模型已经可以帮助完成大部分的运用场景，无论是设计师，还是产品，还是运营，还是研发，都可以轻松实现 Joy 的海报生成，接下来我将为大家讲一讲如何实现。

老样子先来看看实际的效果吧！！！

生成过程

模型生成海报

接下来就来和大家讲一讲如何通过 SD 来生成 Joy 吧～

1、准备工作（在开始之前，准备好本次生成需要使用到的模型）

1、底模：revAnimated_v122EOL.safetensors

2、VAE：vae-ft-mse-840000-ema-pruned

3、京东 Joy-Lora 模型

4、京东 Joy-起手式（prompt 模版）

2、放置模型

1、底模：stable-diffusion-webui——models——Stable-diffusion

2、VAE：stable-diffusion-webui——models——VAE

3、京东 Joy-Lora 模型：stable-diffusion-webui——models——Lora

4、京东 Joy-起手式：stable-diffusion-webui

3、打开 SD

⚠️如果还不知道如何配置 SD 的同学可以看我之前的文章：“只要 10 秒，AI 生成 IP 海报，解放双手”

4、模型设置

1、我们需要在 Stable Diffusion 模型中选择我们下载好的模型：revAnimated_v122EOL（当然这是我目前测试下来效果较好的底膜，你也可以下载并使用别的底膜进行尝试）

2、在模型的 VAE 中选择：vae-ft-mse-840000-ema-pruned（这个 VAE 的饱和度比较好一些，其他的 VAE 会使画面较灰）

5、Prompt 使用

本次我已将 Joy 的基础 Prompt 设置成了模版（Joy 起手式），后续大家可以根据自己想要的画面进行调整，我会讲一下本次 Prompt 的基础构成

1、正向词：正向词中只要分为 3 类，触发词+提示词+LoRA（越靠前的词汇权重就会越高）

Joy 的触发词为 joy\(ip\)：只有输入这个触发词，画面中才会出现 joy 的形象
提示词：在提示词中主要分为自然语言+单词描述：用自然语言来形容 Joy 具体在做什么（如：joy ip is standing on the stone，jumping，sitting 等，建议使用进行时）；用单词来形容画面中其他需要的元素（如：outdoors, day, grass, leaf, tree, flower, sunshine，等）
Lora 权重：权重进过我的测试，最高的效果是 0.7，所以在 Joy 的 lora 模型上无脑设置 0.7

2、负向词：主要描述你不想要的内容（如：lowres, bad anatomy, bad eyes, bad hands 等，如果在生成过程中出现了你不想要的内容也可以在后续继续补充）

6、设置采样方式、采样迭代步数、尺寸、生成批次 &数量

采样方式上我们选择：DPM++ SDE Karras
采样迭代步数：24-28 之间（更具画面的复杂程度进行调试，如果画面元素较多则可以以 4 的倍数向上增加，需要注意在改变了步数以后会让画面产生变化）
尺寸：一般使用 64 的倍数，常用的尺寸如 512*768（2:3），768*512（3:2），512*512（1:1），768*1152（2:3），1152*768（3:2），不限于这些尺寸，只是说这些尺寸下抽卡出现好画面的几率更高一些
生成批次、每批数量：在前期抽卡阶段（没有开高清修复阶段），可以把生成数量提高，来寻找喜欢的画面，在找到自己喜欢的画面后则需要设 1 去更精细化的抽卡