写点什么

【奶奶看了都会】ComfyUI+SVD 制作 AI 视频教程,附效果演示

作者:卷福同学
  • 2023-12-25
    湖北
  • 本文字数:1521 字

    阅读完需:约 5 分钟

【奶奶看了都会】ComfyUI+SVD制作AI视频教程,附效果演示

AI 一天,人间一年


大家好啊,我是小卷,最近 AI 绘画又发展出一些新玩意了,小卷因为工作的关系有一个月没关注 AI 的发展了,都有点跟不上版本节奏了。。。

1.comfyui 的使用效果

今天给大家介绍下 AI 绘画新的工具:ComfyUI。和 Stable Diffusion Webui 类似的,支持文生图,图生图的基本操作,不同的是 comfyui 是工作流式的操作,这里没有了解 sd-webui 也不要紧,我们用 comfyui+SVD 进行 AI 绘画,以及生成动态视频


comfyui 的开源地址:ComfyUI


还是老规矩,先看视频效果:



来看个效果更加炸裂的示例


  • 原始图片



  • 生成的视频效果图


2.云端部署步骤

本地部署会存在各种问题,这里教大家用云端服务器进行部署,只需要 3 分钟就能完成 comfyui 的搭建,很快就能用上哦~


平台推荐:揽睿星舟


注册地址:https://www.lanrui-ai.com/register?invitation_code=4104


通过上面地址注册会有 2 小时算力领取,完全够新手入门玩哦~

2.1 创建工作空间

在工作空间页面选择 B4 区,实例选择 4090 单卡,镜像选择应用镜像/comfyui-journey/v1.0.3,挂载网盘,数据集选择 sd-base,然后点击创建即可。如下图:


2.2 配置学术加速

实例创建完成后,在工作空间界面进入 Jupyter 页面,如图:



然后新建一个终端,并执行以下命令:


  • 先使用学术加速


export http_proxy=http://192.101.1.254:10800 && export https_proxy=http://192.101.1.254:10800
复制代码


  • 进入 Comfyui 目录


cd ComfyUI-master/
复制代码


2.4 配置模型地址

我们在创建工作空间的时候已经选择 sd-base 的数据集,这里只需要改下 Comfyui 加在模型的 path 就行了,修改步骤往下看:


  • 在 ComfyUI 目录下,找到extra_model_paths.yaml.example文件,重命名为extra_model_paths.yaml

  • 修改文件内的base_path参数,修改为模型目录的绝对地址,这里因为我们已经选了 sd-base 的数据集,所以用/home/user/imported_datasets/sd-base,修改内容如下图:


2.5 启动 ComfyUI

到这步,准备工作都完成了,在 ComfyUI 目录下执行下面这条命令,启动 ComfyUI,并将服务映射到工作空间的 27777 端口


python3 main.py --port 27777 --listen 0.0.0.0
复制代码


启动完成后,到工作空间复制调试地址,到浏览器打开,就能看着 ComfyUI 的使用界面了。



默认工作流可生成一张水瓶的图片,大家可以点击Queue Prompt试试


4.安装 SVD 插件

点击Manager,然后点击弹出菜单里的Install Custom Nodes,接着搜索svd


选择ComfyUI-SVD进行安装,操作过程如图:




等待几分钟安装完成后需要重启,点击界面上出现的Restart按钮重启即可

4.1 安装 svd 大模型

我们接着安装 svd 的大模型,点击Manager,然后点击Install Models,在弹出的窗口中搜索 svd,根据自己的显卡性能选择 14 帧或者 25 帧的模型,这里我们因为用的 4090 显卡,所以选 25 帧的安装,如图:



安装过程比较长,等待 10 分钟左右可安装完成

4.2 导入图片转视频工作流

我们从 comfyui 官方 GIthub 上下载工作流文件进行导入,或者直接用拖拽的形式把图片拖到 ComfyUI 里就自动导入,如图操作:


Comfyui 地址:https://comfyanonymous.github.io/ComfyUI_examples/video/


5 图片转视频操作

我们选择一张图片上传,然后选中 svd_xt 的大模型,参数值默认就行,点击Queue Prompt执行,等待几秒钟就可以看到结果了,默认工作流生成的视频是 webp 格式,可以用在线网站进行转换为 Gif,然后再转 MP4


在线网站:https://webpconverter.com/zh/webp-to-gif


操作步骤如图:



最后把生成的多段视频用剪辑工具拼接起来,就得到文章开头的视频效果啦~

6.总结

ComfyUI 是通过将 stable diffusion 的流程拆分成节点,实现了更加精准的工作流定制和完善的可复现性。但节点式的工作流也提高了一部分使用门槛。


最后,小卷想说的是工具的使用是提效的手段,不论用什么工具,最后生成的效果满意就行。就像做视频,手机、单反、运动相机都能拍,能不能拍出精彩的视频还是需要创作者的内功哦~

发布于: 刚刚阅读数: 3
用户头像

卷福同学

关注

一个在福报厂修福报的程序员 2020-04-30 加入

阿里巴巴Java资深开发,终身学习者,持续文章撰写者,福报厂卷着。目前主要从事地图领域相关业务,负责100万QPS的系统,有丰富的高并发高可用经验

评论

发布
暂无评论
【奶奶看了都会】ComfyUI+SVD制作AI视频教程,附效果演示_AIGC_卷福同学_InfoQ写作社区