AI绘画:StableDiffusion炼丹Lora攻略实战萌宠图片生成写在前面的话近期在小红书发现了许多极其可爱

于是想着看看利用AI绘画StableDiffusion以下简称(SD)做出来。

以下是详细实操的全过程,包括所有用的资料已经打包到网盘。

最后尝试的最终效果如下:

更多图片请查看网盘:

「萌宠图片及关键词」

如果你想了解更多的StableDiffusion的知识,请参阅:

需要的资料都打包在网盘里面,需要的自行下载。

LORA可以让我们轻松画出特定的人物,物品,特殊的笔触和特殊的画风或风格,属于一种特殊训练的子集。

炼出一个自己的模特,让这个模特穿上自己的商品

添加一个衣服的Lora,就可以让人物穿上特定的衣服

通过添加Lora改变照片的画风,这个画风可以自己去训练

专业的解释

通俗的解释

Lora可以复刻人物和物品的特征,固定人物动作,改变照片画风

而且Lora只需要少量的数据就可以训练出来,比训练大模型要简单很多

所以大家可以通过训练自己的Lora,做出定制的图片

但不得不说的是,目前的Lora还不能做到100%相同,尤其是细节方面

但是相信随着之后的技术发展,万物皆可Lora的时代是不远的

炼制Lora的方式有很多种

有用脚本训练的,也有在网站界面上训练的,最近还有很多朋友做出来了训练Lora的整合包

创建Lora模型的方式有许多,包括通过脚本进行训练,通过网页界面操作,甚至有一些专业人士最近提供了Lora训练的一键式整合包。尽管这些方法在表面上看起来有所不同,但其训练逻辑其实都是相同的。

因此,我们可以选择使用整合包。整合包的优点在于,它将炼丹所需的所有工具和步骤集成在一款软件中,为我们提供了一种更为便捷且有效的训练方式。

整合包就是把炼丹所需要的所有工具都整合到一个软件里

炼丹分为以下几步:

1.下载整合包

2.准备工作

3.开始训练

4.测试Lora

5.优化Lora

在炼Lora之前,需要大家先确认一下自己的电脑配置:

1.电脑配置需要N卡,并且6G显存以上

2.A卡和Mac系统,或者电脑配置不太行的小伙伴建议用云平台

我这里用的是B站up主朱尼酱的整合包:

下载好了之后把它解压到D盘或者E盘,不要放在C盘!!

秋叶的整合包我也试过炼Lora,两个对比下来,我觉得朱尼酱的整合包会更适合小白

打开解压之后的文件夹,在“cfurnace_ui”文件夹里面找到“赛博丹炉”的应用程序

可以创建一个桌面快捷方式,这样就不用每次都要打开文件

看到这个页面就安装好了,点击“开启炼丹炉”就可以开始炼Lora啦!

跟画图一样,炼Lora之前也要先选一个大模型,确定Lora的画风

这里训练的萌宠,我选择的是“cheeseDaddys_35”大模型

真人模型=》选用“chilloutmix”的大模型

二次元=》选用“anything”的大模型

如果你的StableDiffusion里面没有模型,那就要先去下载模型噢!

网盘里面已经给大家放了这两个大模型

再往下就可以选择一个我们要训练的Lora的类型

选择之后就会帮我们选择默认的参数

训练真人Lora就选“人物”

训练二次元就选“二次元”

如果想炼绘画的风格可以选画风

除此之外还可以自定义去炼平面设计图或者建筑之类的

我这里选择的是产品

以上准备工作及参数设置好了后,就可以开始上传自己的素材开始训练了。

这些素材就是我们要喂给AI学习的素材

素材的质量非常重要!!会直接影响最后出来的Lora的质量

我们的素材需要满足几个点:

1.上传20~30张照片

2.素材要高清!!!

3.多角度照片

这里我就以炼萌宠Lora为例子,上传萌宠的照片

点击“删除全部”把默认的素材删掉

然后点击“上传素材”,上传自己的照片

一般情况下,下面的参数默认就可以了

需要调整参数的话,最好是需要了解参数的含义,如果乱调的话,可能会训练失败。

不要选择太高的分辨率,容易爆显存

另外,如果训练真人Lora,可以勾选最右边的“脸部加强训练”

勾选了之后就会再多裁剪出来一组只有脸的照片,这样AI能学到更多的脸部细节

看到这个页面就是模型正在训练中

到这一步只要耐心等待就可以了,没什么需要操作的

我们可以看一下下面的参数是什么意思

“Steps”就是训练步数

每训练50步右下角就会出现一张图片

那样就可以实时看到Lora的样子

这个白头发和红裙子是后台加上去的关键词

可以测试Lora的泛化性

泛化性就是看这个Lora能不能自由的去更换照片里的东西,比如发型、发色、服装之类的

Loss可以用来参考模型的好坏

一个好的模型Loss值在0.07~0.09之间

注意:具体好不好还是要在StableDiffusion实际测试才知道

等训练完了之后,点击“模型”

就可以看到生成出来模型

按照默认参数训练会出来20个模型,但不是说最后一个模型就是最好的

有可能炼到第十六第是十七个模型就已经够了,再往后的模型就已经训练过度了

所以这些模型还要实际在SD测试一下,才知道哪个是最好的

模型生成出来之后就可以到SD里面生成图片

在SD里面可以生成这么一张大图,可以直接看到所有模型在不同权重下出来的效果

比较一下哪个模型更好,就只保留那个模型就可以了

接下来我们就看看怎么生成这张大图

首先把新生成的10个模型复制到SD的models文件夹,放到Lora文件夹里面

注意:最好新建一个文件夹,比如cuteDog

然后把没有序号编码的那个Lora重命名

没有序号编码的Lora就是最后生成出来的一个模型,这里只是为了方便进行测试,统一一下所有模型的名称

保存好模型之后就可以打开SD进行测试了

首先先选一个大模型

你用哪一个大模型来训练lora就选哪个大模型

然后输入正面关键词和负面关键词

正面关键词可以输入一些质量词,比如最高质量、高清画质、大师杰作等等

负面关键词直接复制我们以前用过的就可以

接下来就是选用我们刚刚炼好的Lora

随便选一个都可以

重点来了:把000017换成NUM,1换成STRENGTH

例如:

迭代步数,采样方法这些参数大家可以按照自己的习惯去修改

然后滑到最下面找到“脚本”

在脚本里面选择“X/Y/Z图表”

X轴、Y轴类型都选择“提示词搜索/替换”

X轴的值输入:NUM,000001,000002,000003,000004,000005,000006,000007,000008,000009,000010

这里的序号对应的就是我们10个Lora的编号

Y轴值输入:STRENGTH,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1

这里的序号代表的是Lora的权重

全部参数设置好了之后就可以点击“生成”

生成出来就是这么一张大图,可以看到这几个Lora模型在不同强度下的表现

实际上,炼丹是一件比较玄学的事

有的人可能一次性就能炼出自己满意的Lora

但有的人可能要炼好几次才出来一个好的Lora

这时候我们可以通过调整训练的参数再重新炼一个

前提是确保我们的喂给AI的素材是高质量的!

不然不管怎么修改参数,出来的Lora都是不合格的

这里我们就把炼Lora会遇到的问题分成两种情况

1.Lora出来的照片不像本人:AI没学好

2.Lora过拟合,甚至出来的照片崩了:AI学过头了

过拟合就是不管输入什么关键词,出来的照片都是你喂给AI的照片

没办法自由控制人物的服装、发型、发色等

点击“参数调优”我们就可以自行设置参数

如果生成的照片不像本人,那就可以适当增加Repeat(学习步数)值

如果照片过拟合了,那就减少Repeat值

其他参数都可以不用调,因为默认的参数就差不多是最优值了

THE END
1.萌宠图片大全萌宠高清图片下载觅知网提供大量萌宠图片,萌宠高清图片在线下载。更多萌宠图片下载,尽在觅知网。https://m.51miz.com/so-tupian/99903.html
2.可爱小动物头像图片大全超萌熊猫办公精心为用户挑选80张高清精美可爱小动物图片、支持专业级可爱小动物设计素材下载,更多风格的可爱小动物,免抠元素,卡通手绘素材图片、图标图案、免抠矢量图,尽在熊猫办公。https://www.tukuppt.com/speciall/keaixiaodongwu4656.html
3.萌宠图片高清萌宠图片大全正版图片素材下载萌宠图片专题素材由Veer图库精选提供,内容涵盖:萌宠图片,商业萌宠图片,萌宠图片素材,高清萌宠图片大全等;需要正版萌宠图片素材下载需求就到Veer图库。https://www.veer.com/topic/12967/
4.可爱狗狗萌宠图片素材免费下载觅元素为您提供可爱狗狗萌宠图片素材免费下载,此作品编号为elefkhkabw,图片大小为 0.24M,图片规格为 650*576 | 72dpi,下载更多图片素材就来觅元素!https://www.51yuansu.com/sc/elefkhkabw.html
5.萌宠宠物图片免费下载萌宠宠物素材萌宠宠物海报新图网是专注免费商用设计素材下载的网站,提供萌宠宠物,萌宠宠物图片,萌宠宠物素材, 萌宠宠物图标,萌宠宠物海报等免费下载服务!https://ixintu.com/all/mengchongchongwu.html
6.萌宠美女图片下载萌宠美女模板素材公社是专业的萌宠美女设计素材和模板下载网站,提供萌宠美女图片免费下载,萌宠美女设计模板下载,萌宠美女促销海报、展板设计psd源文件素材和矢量图下载。https://m.tooopen.com/tag/5b6c2c0bebc8b20da8f3f27a.aspx
7.萌宠宠物摄影图片素材网站图片免费下载荷兰猪萌宠写真宠物摄影 2 大橙0214 亚马逊产品摄影设计:宠物剃毛器 1 rm视觉 亚马逊产品摄影设计:宠物用品系列—便携宠物瓶 4 rm视觉 萌宠_aigc邂逅摄影,sd定制萌宠造型,萌化你的心! 4 wendy滴滴66 宠物磨甲器电动修剪器亚马逊图片设计 16 creativepixel 烟台美食摄影 |萌宠?不二造相 5 北玄川行商业摄影...https://www.zcool.com.cn/tag/ZNTY3NTIwNA==.html
8....壁纸萌宠图片高清可爱壁纸萌宠图片购买下载视觉中国为您提供203124个正版、可商用可爱 壁纸 萌宠素材,包括可爱 壁纸 萌宠图片,可爱 壁纸 萌宠插画,可爱 壁纸 萌宠元素,可爱 壁纸 萌宠模板、可爱 壁纸 萌宠png。更多可爱 壁纸 萌宠素材:可爱 壁纸 萌宠视频、可爱 壁纸 萌宠音乐、字体尽在视觉中国vcg.com。https://www.vcg.com/creative-image/7316578
9.可爱的萌宠蓝色猫咪高清特写高清图片下载生物动物图片尺寸:4568 x 3208 编号:6548 收录时间:2018-01-15 版权:RegulusW CC0 所属分类:生物动物 作品简介 热门标签 猫 蓝色 宠物 可爱 高清 特写 萌宠 相关专题推荐 喜欢小动物的你,一定不要错过啊 倾国倾城的美人叫人难忘记 从此他乡是故乡 煮一壶茶韵,温暖江南...http://m.lemeitu.com/photo/6548.html
10.萌宠素材图片免费下载萌宠素材素材萌宠素材模板千图网为您找到3099张萌宠素材相关素材,千图网还提供萌宠素材图片,萌宠素材素材, 萌宠素材模板等免费下载服务,千图网是国内专业创意营销服务交易平台,一站式解决企业营销数字化、协同化,实现营销转化效果增长!https://www.58pic.com/tupian/mengchongsucai.html
11.卡通可爱萌宠背景图背景素材免费下载(图片编号:9193244)六图网提供精美好看的背景素材模板下载,本次背景作品主题是卡通可爱萌宠背景图,编号是9193244,格式是psd,该卡通可爱萌宠背景图素材大小是36.15 MB。卡通可爱萌宠背景图是由背景设计师When. 时过。上传. 浏览本次作品的您可能还对卡通,可爱,萌宠,动物,小狗,狗窝,广告背景https://www.16pic.com/pic/pic_9193244.html
12.萌宠猫咪宝贝你好香呆萌可爱gif动图动态图表情包下载SOOGIF为您提供萌宠gif动态图片,猫咪宝贝你好香呆萌可爱动图表情包下载,还有更多关于萌宠,猫咪,宝贝你好香,呆萌,可爱的动图内容,尽在SOOGIF。https://www.soogif.com/materialPage/uP0ld4BAQtc
13.萌宠高清图片20张(美景图片网)动物图片 交通运输 美女图片 动漫影视 游戏图片 头像 手抄报 一夕一夏上传/本图集共有 20 张图片 介绍 萌宠高清图片是美景图片网为大家分享的一组动物图片,用户朋友们可以在这里欣赏自己喜欢的萌宠相关的图片并下载使用! 萌宠高清图片 萌宠高清图片 萌宠高清图片 ...http://www.k2r2.com/dongwu_v19199/
14.可爱萌宠壁纸大全萌宠图片大全可爱壁纸可爱动物壁纸萌宠迟早有一天它会找到你 特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。 Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only ...https://dy.163.com/article/GILM543L0549B1FD.html
15.图片助手软件APP推荐图片助手软件下载豌豆荚图片助手软件榜单为您提供最新图片助手软件大全,这里不仅有图片助手软件安卓版本APP、历史版本应用下载资源,还有类似图片助手软件的应用推荐,欢迎大家前来豌豆荚下载。https://www.wandoujia.com/bangdan/1249128/
16.mm131历史版本2.1.0最新版下载mm131历史版本2.1.0免费版下载扫描二维码下载 应用介绍 mm131历史版本2.1.0是一款非常好用的壁纸图片软件。可以找到自己比较喜欢的壁纸资源。了解更多的壁纸信息,看到的画面都是非常清晰的,也都是非常完美的,可以找到自己比较喜欢的各种主题。有风景,有萌宠,还有建筑和人物。都非常的高质量,没有任何的瑕疵,每个用户都可以完美的进行选择,设置上自己...https://www.juxia.com/sjwy/ruanjian-574853.html
1.萌宠图片素材萌宠图片素材下载萌宠图片大全我图网萌宠图片专题为您整理了原创高质量萌宠图片图片素材供您在线下载,PSD/JPG/PNG格式萌宠图片模板下载、高清萌宠图片图片大全等,下载图片素材就上我图网。https://m.ooopic.com/sousuo/8699656/
2.2021呆萌可爱图片我家的宠物小朋友们的超级萌宠照集在这个新的一年里,网上流传着一大波2021呆萌可爱图片,它们让我们看了就心情愉悦,不禁想起那些温暖的瞬间。这些照片不仅仅是对小动物的赞美,更是一种生活态度的宣言——无论多忙碌,都要留出时间去感受生活中最纯真的快乐。 我家的宠物小朋友们的超级萌宠照集! 每当看到https://www.nuedjm8r.cn/dong-man-tou-xiang/732569.html
3.亿图全景图库亿图全景图库是一个提供电脑壁纸、手机壁纸、美女图片壁纸、动漫萌宠、摄影美图、COSPLAY等多类壁纸图片分享与下载的网站。此外,还提供动物世界、风景图片、头像表情等图片供您欣... 标签:图库资源电脑壁纸美女图片美女图片大全美女百科高清壁纸下载 进入网站 https://www.zkcee.com/sites/16085.html
4.超级萌的可爱的狗狗写真背景图精选2021版最新的可爱萌宠合集超级萌的治愈系的狗狗图片送给大家哦,这种萌萌又好看的背景图总会让人的心情变的很好,所以马住当背景图片吧。https://www.qqtn.com/article/article_310111_1.html
5.小猫萌宠,超清4K壁纸,蓬松可爱,3840x2160高清动物图片,一键下载...欢迎下载小猫4K高清壁纸,展现可爱蓬松的宠物魅力!这款3840x2160分辨率的壁纸,将为您的屏幕带来极致清晰的视觉享受。精选优质动物图片,让您的桌面焕然一新,充满温馨与活力!https://www.moyublog.com/hdwallpapers/47612.html
6.AI赚钱:一键生成萌宠短视频,收割抖音流量使用Midjourney生成萌宠图片,Midjourney基本上是开箱即用,出图的质量普遍很高,不过需要特殊网络设置,还需要花银子。这里给大家分享一个可以免费体验的网站,赠送25次生图机会,不够了可以通过邀请朋友再获取生成机会。toai.fireflysoft.net/sites/125.h… 特别强调: ...https://blog.csdn.net/2401_84830464/article/details/140152153
7.附萌宠图“给狗狗打分”吸粉200万,萌宠社交的融资风口到了吗?90后白领张蓉下班后,几乎每天都会上微博、朋友圈翻翻宠物图片,或在B站看萌宠视频,有时候一看就是几个小时,工作一天的压力疲惫很快就被这些可爱萌宠“治愈”。平时太忙没有精力养宠物,但她在社交网站上找到了慰藉,与她志同道合的网友队伍,也不断壮大。 https://www.jfdaily.com/wx/detail.do?id=54428
8.电脑壁纸,手机壁纸,壁纸图片大全,高清壁纸下载亿图全景图库提供电脑壁纸,手机壁纸,美女图片壁纸,动漫萌宠,摄影美图,COSPLAY等大类壁纸图片的分享与下载,同时也分享动物世界,风景图片,头像表情等图片供您欣赏。https://www.yeitu.com/
9.可爱萌宠图片素材可爱萌宠图片大全可爱萌宠背景图片智能精选为您提供丰富的可爱萌宠图片,可爱萌宠素材,可爱萌宠高清图片素材下载。助力您对于可爱萌宠素材高清图片的创意设计灵感,充实饱满作品,查找更多素材高清图片作品选择摄图网下载https://m.699pic.com/image/keaimengchong.html