AI绘画:StableDiffusion炼丹Lora攻略实战萌宠图片生成写在前面的话近期在小红书发现了许多极其可爱

于是想着看看利用AI绘画StableDiffusion以下简称(SD)做出来。

以下是详细实操的全过程,包括所有用的资料已经打包到网盘。

最后尝试的最终效果如下:

更多图片请查看网盘:

「萌宠图片及关键词」

如果你想了解更多的StableDiffusion的知识,请参阅:

需要的资料都打包在网盘里面,需要的自行下载。

LORA可以让我们轻松画出特定的人物,物品,特殊的笔触和特殊的画风或风格,属于一种特殊训练的子集。

炼出一个自己的模特,让这个模特穿上自己的商品

添加一个衣服的Lora,就可以让人物穿上特定的衣服

通过添加Lora改变照片的画风,这个画风可以自己去训练

专业的解释

通俗的解释

Lora可以复刻人物和物品的特征,固定人物动作,改变照片画风

而且Lora只需要少量的数据就可以训练出来,比训练大模型要简单很多

所以大家可以通过训练自己的Lora,做出定制的图片

但不得不说的是,目前的Lora还不能做到100%相同,尤其是细节方面

但是相信随着之后的技术发展,万物皆可Lora的时代是不远的

炼制Lora的方式有很多种

有用脚本训练的,也有在网站界面上训练的,最近还有很多朋友做出来了训练Lora的整合包

创建Lora模型的方式有许多,包括通过脚本进行训练,通过网页界面操作,甚至有一些专业人士最近提供了Lora训练的一键式整合包。尽管这些方法在表面上看起来有所不同,但其训练逻辑其实都是相同的。

因此,我们可以选择使用整合包。整合包的优点在于,它将炼丹所需的所有工具和步骤集成在一款软件中,为我们提供了一种更为便捷且有效的训练方式。

整合包就是把炼丹所需要的所有工具都整合到一个软件里

炼丹分为以下几步:

1.下载整合包

2.准备工作

3.开始训练

4.测试Lora

5.优化Lora

在炼Lora之前,需要大家先确认一下自己的电脑配置:

1.电脑配置需要N卡,并且6G显存以上

2.A卡和Mac系统,或者电脑配置不太行的小伙伴建议用云平台

我这里用的是B站up主朱尼酱的整合包:

下载好了之后把它解压到D盘或者E盘,不要放在C盘!!

秋叶的整合包我也试过炼Lora,两个对比下来,我觉得朱尼酱的整合包会更适合小白

打开解压之后的文件夹,在“cfurnace_ui”文件夹里面找到“赛博丹炉”的应用程序

可以创建一个桌面快捷方式,这样就不用每次都要打开文件

看到这个页面就安装好了,点击“开启炼丹炉”就可以开始炼Lora啦!

跟画图一样,炼Lora之前也要先选一个大模型,确定Lora的画风

这里训练的萌宠,我选择的是“cheeseDaddys_35”大模型

真人模型=》选用“chilloutmix”的大模型

二次元=》选用“anything”的大模型

如果你的StableDiffusion里面没有模型,那就要先去下载模型噢!

网盘里面已经给大家放了这两个大模型

再往下就可以选择一个我们要训练的Lora的类型

选择之后就会帮我们选择默认的参数

训练真人Lora就选“人物”

训练二次元就选“二次元”

如果想炼绘画的风格可以选画风

除此之外还可以自定义去炼平面设计图或者建筑之类的

我这里选择的是产品

以上准备工作及参数设置好了后,就可以开始上传自己的素材开始训练了。

这些素材就是我们要喂给AI学习的素材

素材的质量非常重要!!会直接影响最后出来的Lora的质量

我们的素材需要满足几个点:

1.上传20~30张照片

2.素材要高清!!!

3.多角度照片

这里我就以炼萌宠Lora为例子,上传萌宠的照片

点击“删除全部”把默认的素材删掉

然后点击“上传素材”,上传自己的照片

一般情况下,下面的参数默认就可以了

需要调整参数的话,最好是需要了解参数的含义,如果乱调的话,可能会训练失败。

不要选择太高的分辨率,容易爆显存

另外,如果训练真人Lora,可以勾选最右边的“脸部加强训练”

勾选了之后就会再多裁剪出来一组只有脸的照片,这样AI能学到更多的脸部细节

看到这个页面就是模型正在训练中

到这一步只要耐心等待就可以了,没什么需要操作的

我们可以看一下下面的参数是什么意思

“Steps”就是训练步数

每训练50步右下角就会出现一张图片

那样就可以实时看到Lora的样子

这个白头发和红裙子是后台加上去的关键词

可以测试Lora的泛化性

泛化性就是看这个Lora能不能自由的去更换照片里的东西,比如发型、发色、服装之类的

Loss可以用来参考模型的好坏

一个好的模型Loss值在0.07~0.09之间

注意:具体好不好还是要在StableDiffusion实际测试才知道

等训练完了之后,点击“模型”

就可以看到生成出来模型

按照默认参数训练会出来20个模型,但不是说最后一个模型就是最好的

有可能炼到第十六第是十七个模型就已经够了,再往后的模型就已经训练过度了

所以这些模型还要实际在SD测试一下,才知道哪个是最好的

模型生成出来之后就可以到SD里面生成图片

在SD里面可以生成这么一张大图,可以直接看到所有模型在不同权重下出来的效果

比较一下哪个模型更好,就只保留那个模型就可以了

接下来我们就看看怎么生成这张大图

首先把新生成的10个模型复制到SD的models文件夹,放到Lora文件夹里面

注意:最好新建一个文件夹,比如cuteDog

然后把没有序号编码的那个Lora重命名

没有序号编码的Lora就是最后生成出来的一个模型,这里只是为了方便进行测试,统一一下所有模型的名称

保存好模型之后就可以打开SD进行测试了

首先先选一个大模型

你用哪一个大模型来训练lora就选哪个大模型

然后输入正面关键词和负面关键词

正面关键词可以输入一些质量词,比如最高质量、高清画质、大师杰作等等

负面关键词直接复制我们以前用过的就可以

接下来就是选用我们刚刚炼好的Lora

随便选一个都可以

重点来了:把000017换成NUM,1换成STRENGTH

例如:

迭代步数,采样方法这些参数大家可以按照自己的习惯去修改

然后滑到最下面找到“脚本”

在脚本里面选择“X/Y/Z图表”

X轴、Y轴类型都选择“提示词搜索/替换”

X轴的值输入:NUM,000001,000002,000003,000004,000005,000006,000007,000008,000009,000010

这里的序号对应的就是我们10个Lora的编号

Y轴值输入:STRENGTH,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1

这里的序号代表的是Lora的权重

全部参数设置好了之后就可以点击“生成”

生成出来就是这么一张大图,可以看到这几个Lora模型在不同强度下的表现

实际上,炼丹是一件比较玄学的事

有的人可能一次性就能炼出自己满意的Lora

但有的人可能要炼好几次才出来一个好的Lora

这时候我们可以通过调整训练的参数再重新炼一个

前提是确保我们的喂给AI的素材是高质量的!

不然不管怎么修改参数,出来的Lora都是不合格的

这里我们就把炼Lora会遇到的问题分成两种情况

1.Lora出来的照片不像本人:AI没学好

2.Lora过拟合,甚至出来的照片崩了:AI学过头了

过拟合就是不管输入什么关键词,出来的照片都是你喂给AI的照片

没办法自由控制人物的服装、发型、发色等

点击“参数调优”我们就可以自行设置参数

如果生成的照片不像本人,那就可以适当增加Repeat(学习步数)值

如果照片过拟合了,那就减少Repeat值

其他参数都可以不用调,因为默认的参数就差不多是最优值了

THE END
1.宠物图片,宠物灵感图素材萌宠675 采集66 关注 来自丧〤 桃灵儿采集到喵~o( =∩ω∩= )~ 采集 桃灵儿 采集到 喵~o( =∩ω∩= )~ Shaper、采集到Dog丨狗狗 采集 xiaohong...动物 参考 素材 桃灵儿 采集到 喵~o( =∩ω∩= )~ 开心guo采集到动物视界 采集 雁形目·鸭科:家鹅 开心guo 采集到 动物视界 默北mo采集到定时吸...https://huaban.com/favorite/pets/
2.宠物高清图片素材宠物高清图片png图片下载觅元素是设计素材的免费下载网站,提供宠物高清图片素材,宠物高清图片png图片等素材免费下载,下载宠物高清图片素材就来觅元素。https://www.51yuansu.com/search/chongwugaoqingtupian.html
3.萌宠宠物摄影图片素材网站图片免费下载萌宠宠物摄影图片,站酷提供丰富的图片素材,品牌设计,UI交互,动漫游戏,影视摄像等正版素材,站酷是设计师、摄影师、插画师、艺术家、创意人,设计创意首选中国设计师互动平台。https://www.zcool.com.cn/tag/ZNTY3NTIwNA==.html
4.手绘可爱萌宠卡通形象可商用元素素材图片免费下载千库网为你提供手绘可爱萌宠卡通形象可商用元素图片素材免费下载,你关心的图片有卡通兔,小兔子,仓鼠,下载免抠PNG素材就来千库网,图片版权认准千库网图片素材编号11662193!https://588ku.com/ycpng/11662193.html
5.萌宠素材图片免费下载萌宠素材素材萌宠素材模板千图网为您找到3340张萌宠素材相关素材,千图网还提供萌宠素材图片,萌宠素材素材, 萌宠素材模板等免费下载服务,千图网是国内专业创意营销服务交易平台,一站式解决企业营销数字化、协同化,实现营销转化效果增长!https://www.58pic.com/tupian/mengchongsucai.html
6.萌宠视频合集短视频素材免费下载027 - 萌宠视频合集2024-06-06 08-52-29,027 - 萌宠视频合集2024-06-06 08-46-34,058 - 萌宠视频合集2024-06-06 08-36-24,025 - 萌宠视频合集2024-06-06 08-33-04,013 - 萌宠视频合集2024-06-06 08-43-31,047 - 萌宠视频合集2024-06-06 09-07-16,016 - 萌宠https://www.aigei.com/set/mengchongshipinheji.html
7.宠物猫萌宠美图素材宠物猫萌宠美图素材 萌宠图片,萌猫图片,图片素材,宠物,猫家宠,猫萌宠美图 动物图片共享与免费下载网站-素材公社(www.tooopen.com)https://www.tooopen.com/view/1507702.html
8.萌宠图片高清萌宠图片大全正版图片素材下载萌宠图片专题素材由Veer图库精选提供,内容涵盖:萌宠图片,商业萌宠图片,萌宠图片素材,高清萌宠图片大全等;需要正版萌宠图片素材下载需求就到Veer图库。https://www.veer.com/topic/12967/
9.宠物萌宠短视频素材免费下载今天跟你们重新介绍一下我们家的动物萌宠 萌宠出道计划无水印_DM5去重_影视_盘点_梗_起号合集视频_引流素材_剪影_必剪_爱剪辑_PR_达芬奇_哔哩抖音_快手 ,奇妙的动物 萌宠出道计划 熊猫滚滚 兄弟!这么高你在啥?无水印_DM5去重_影视_盘点_梗_起号合集视频_引流素材_剪影_必http://pay.5open.com/short/video/pet_animals/
1.宠物素材宠物图片宠物素材图片下载宠物素材 白底小猫小狗宠物素材图 多巴胺手绘插画宠爱计划宠物店促销活动海报宠物萌宠 橙色扁平撕纸风鲜肉冻干猫粮宠物食品宣传手机海报宠物萌宠 渐变色实拍风格萌宠来袭宠物宣传海报宠物海报 手绘风绿色宠物露营手举牌出游手举牌露营手举牌异形手举牌宠物萌宠 https://www.51miz.com/so-sucai/1641373/p_4/
2.猫家畜動物Pixabayのロイヤリティフリーのストック画像、動画、音楽の膨大なライブラリーから、この猫 家畜 動物の無料illustrationをダウンロードします。https://pixabay.com/ja/illustrations/image-8992615/
3.环球萌宠·抖音+tiktok+搬运+剪映,从起号寻找素材爆款制作很详细...声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。 剪映抖音搬运抖音萌宠抖音萌宠号 ...https://www.djzypt.com/33717.html
4.可爱萌宠图片素材可爱萌宠图片大全可爱萌宠背景图片智能精选为您提供丰富的可爱萌宠图片,可爱萌宠素材,可爱萌宠高清图片素材下载。助力您对于可爱萌宠素材高清图片的创意设计灵感,充实饱满作品,查找更多素材高清图片作品选择摄图网下载https://m.699pic.com/image/keaimengchong.html
5.萌宠视频素材萌宠实拍高清素材正版高清萌宠视频素材、您可以找到实拍萌宠视频下载,萌宠视频模板一键下载商用更放心。https://www.2amok.com/v3/1475/3.html
6.高清萌宠图片素材高清萌宠图片素材图片、高清萌宠图片素材高清图片,堆糖精选最新高清萌宠图片素材图片大全,一键收藏免费下载。https://www.duitang.com/album/?id=95435833
7.图搜网免费高清图片素材网站图搜网免费高清图片素材网站,为您提供超清万张动静态图片素材,壁纸图片,商务图片,背景图片,4K高清壁纸图片素材等免费下载高清短视频素材图片,每日更新1000+,高清图片素材库。https://www.sooto.cn/
8.副业3736在国内怎么玩tiktok:百万粉丝博主·抖音+tiktok+搬运...2.哪里获取素材 01下载好tiktok后如何改中文.mp4 02tiktok如何注册.mp4 03在tiktok如何刷到萌宠素材.mp4 04Tiktok如何分类存放素材.mp4 05下载并认识Youtube.mp4 06如何在YouTube刷到萌宠素材与如何在YouTube搜索素材.mp4 07如何在YouTube分类存放素材.mp4 ...https://www.dklx.com/12383.html
9.萌宠图片大全可爱高清专题模板我图网萌宠图片大全可爱高清专题为您整理了201个原创高质量萌宠图片大全可爱高清图片素材供您在线下载,PSD/JPG/PNG格式萌宠图片大全可爱高清模板下载、高清萌宠图片大全可爱高清图片大全等,下载图片素材就上我图网。https://m.ooopic.com/sousuo/37340969/
10.萌宠视频素材哪里找?抖音萌宠视频2.0版本,10分钟轻松上手萌宠视频素材哪里找?抖音萌宠视频2.0版本,10分钟轻松上手 今天带给大家的项目是抖音萌宠视频玩法的2.0版本,小白10分钟轻松上手*变现。接下来就是这个项目的简单介绍,在介绍之前我先给大家看它的一个收益的效果,在上个月的2月份,总体收入到了5.6万,支付宝也是收到了1.8万。https://65795539.com/38749.html
11.搞笑萌宠搞笑动物素材下载抖音素材网抖音免费素材分辨率:1080P 时长:几秒到几十秒不等 下载方式:百度网盘 升级至尊VIP可享受全站资源无限免费下载 部分素材展示: 部分网盘截图: 动物搞笑 5D币 普通用户购买价格 :5D币 VIP会员购买价格 :0D币 终身VIP购买价格 :免费 有效期永久 已售25 641889328微信 16620661261...https://www.banbb.cn/archives/4403
12.线条曲线萌宠宠物单素材微信公众号排版样式线条曲线萌宠宠物单素材 写入编辑区 未收藏 购买 ID:108139 ¥8.0 标签: 行业萌宠宠物线条曲线弧线三角猫爪爪子可爱 分享: 宠物医院和宠物诊所的区别 ID:40071 ¥8.0 收藏 ID:108136 15鹰币 可爱萌宠 ID:45301 10鹰币 扫描关注二维码 一起爱上萌宠吧!https://www.xmyeditor.com/styleinfo/108139/module/index.asp.html
13.精选很治愈的萌宠图片大全可爱高清超呆萌的可爱萌宠微信素材2023治愈系的图片看到后总会让我们的心情大好,治愈系的萌宠图片就会让我们心情更加的愉悦哦,将这么好看的治愈系背景图拿去分享给你的小伙伴们吧。https://www.xdn001.com/article/65784.html
14.《非洲黑足猫》纪录片解说素材百度云盘下载1080P全5集中字MP4/...动物解说素材《非洲黑足猫》在遥远的非洲,生活着一种非常“可爱”的猫,它们足底生有黑纹,毛发柔软而浓密,淡棕色皮毛上布满了黑色环状斑纹,脚及尾巴镶嵌着黑环。只看外表绝对是萌宠,但是这种非洲最小的猫,却是一台有着极高效率的“杀戮机器”。 黑足猫,原产于非洲南部广袤的草原地带,是非洲最小的野生猫科动物。目...https://www.135world.com/38168.html