大家抓好扶手,我们马上就要开车了。
有的同学可能还不知道ComfyUI是什么,我这里做一个简单的介绍。
ComfyUI是一个基于扩散模型的AI绘画创作工具,扩散模型就是大家常说的StableDiffusioin,简称SD。
ComfyUI使用工作流的方式,可定制性很强,可以让创作者们搞出各种新奇的玩意,也可以实现更高的自动化水平,创作方法更容易传播复现,发展势头特别迅猛。
不过ComfyUI的上手门槛有点高,用户需要对StableDiffusion以及各种数字技术的原理有一定的了解才行。这个系列就会介绍ComfyUI的一些基础概念和使用方法,让大家更快的掌握ComfyUI的使用技巧,创作出自己独特的艺术作品。
ComfyUI本身是一个开源软件,大家可以安装到自己的电脑上使用。
但是但是事情往往没有说起来这么简单:
前两个花点小钱就能解决,最后这个要求可是要花大价钱的,差不多的3090显卡就需要七八千,玩起来没压力的4090更需要1.5个W左右。
你可能就是想试试,或者说就处理几张图片,没必要搞这么大的阵仗啊。怎么办?
使用云服务器。我在京东云上创建了一个ComfyUI的镜像,大家可以去试试,新用户赠送两个小时的使用时长(发消息“京东云”到公/众\号“萤火遛AI”领取),足够我们应应急或者尝尝鲜了。
镜像内置了常见的模型和工作流(包括本文介绍的抠图工作流),点点鼠标,就能开始创作。也就是说你不用特殊网络,也不用自己安装,更不用花钱,就可以体验到这个强大的AI绘画工具。
领取到代金券后,请在“费用”-“代金券管理”中激活代金券,操作如下图所示。
请按照下边的步骤创建AI服务器:
1、首先在“实例列表”页面点击“创建”:
2、在打开的“购买GCS实例”页面点击“按配置”,这种就是按使用量计费,GCS目前按照分钟计费。页面上没有显示常见的显卡型号,不过经我实际测试,目前配置的是RTX4090显卡的GPU实例。
3、还是在“购买GCS实例”页面,我们移动到下方,应用这里选择“ComfyUI”,注意其中提到这是“萤火遛AI定制版本”,是萤火君专门给大家定制的,填了很多坑。因为上边已经激活了代金券,所以直接点击“立即购买”就可以了。
4、返回到GCS实例列表页面,等待GCS实例创建成功。
实例启动成功后,状态会显示“运行中”,我们只要依次点击“应用”-“自定义应用”,就可以在浏览器中打开ComfyUI了,不用执行任何技术命令,是不是很爽!
当然如果你要进行一些技术操作,也可以通过实例提供的JupyterLab去完成。
目前京东云还没有停止服务器的功能(据打听正在开发中),用完了记得点击“释放”,以免继续扣费。
5、加载工作流:如下图所示,初次打开是英文界面,先切换到中文;然后“加载”按钮右侧有个下拉按钮,点击就可以加载镜像内置的工作流。如果你想加载本地工作流,点击“加载”按钮本身就可以了。
这个工作流很简单,我们直接看下吧。
左边有两个节点:
这个工作流的右边,也有两个节点,其实是两种抠图的方法,很难说哪个更好,大家根据实际效果选择吧。
RemBG:比较老牌的抠图方式,介绍下它的几个参数:
model:有多个抠图模型可供选择:
Alphamatting:Alpha遮罩,这是一个比较专业的图像处理术语。在图像处理中,有一个东西用来表示图像中每个像素点的透明度,这个东西称为Alpha通道;Alpha遮罩利用Alpha通道来控制图像的透明度,从而达到隐藏或显示某些部分的目的;在抠图这里就是努力让前景部分都显示出来,让背景部分都变透明。这个选项有三个参数:
使用Alpha遮罩时可以先用这几个经验值:(220,100,15),具体参数值再根据实际情况进行调整。
BRIA:新进的抠图模型,很多时候效果比RemBG要棒。没啥参数可以设置的,需要两个节点:
工作流,以及其中用到的插件、模型,我已经整理好了,需要的同学请到文末获取。
图片背景替换就是在抠图的基础上再增加图片合成的能力,如下图所示:
其中增加的就是这个“图像混合模式节点”:
视频背景替换的基本思路是,先把视频帧拆出来,然后一帧帧的替换背景。
我在抖音上找到了一个小姐姐的跳舞视频,准备把视频背景替换成蓝天白云草地。
这个工作流主要由3部分组成,分别介绍下:
这里涉及三个节点:
加载视频:选择本地视频上传即可。注意这里的两个参数:
视频信息:提取出视频的宽高、帧数、帧率等,后边合成新视频的时候会用到这个帧率,提取出来就不用手动设置了。
加载图像:这里就是要使用的视频新背景,注意和视频的宽高保持一致。
主要节点和设置前边替换图片背景已经讲过了,注意这里增加了两个信息的节点:
图像批次到图像列表、图像列表到图像批次
主要是因为视频需要的是图像批次,而图像混合需要的是图像列表,做一个适配而已。
最后就是合成视频了,注意选择格式为mp4,别的没什么好讲的。