AI绘画:StableDiffusion炼丹Lora攻略实战萌宠图片生成写在前面的话近期在小红书发现了许多极其可爱

于是想着看看利用AI绘画StableDiffusion以下简称(SD)做出来。

以下是详细实操的全过程,包括所有用的资料已经打包到网盘。

最后尝试的最终效果如下:

更多图片请查看网盘:

「萌宠图片及关键词」

如果你想了解更多的StableDiffusion的知识,请参阅:

需要的资料都打包在网盘里面,需要的自行下载。

LORA可以让我们轻松画出特定的人物,物品,特殊的笔触和特殊的画风或风格,属于一种特殊训练的子集。

炼出一个自己的模特,让这个模特穿上自己的商品

添加一个衣服的Lora,就可以让人物穿上特定的衣服

通过添加Lora改变照片的画风,这个画风可以自己去训练

专业的解释

通俗的解释

Lora可以复刻人物和物品的特征,固定人物动作,改变照片画风

而且Lora只需要少量的数据就可以训练出来,比训练大模型要简单很多

所以大家可以通过训练自己的Lora,做出定制的图片

但不得不说的是,目前的Lora还不能做到100%相同,尤其是细节方面

但是相信随着之后的技术发展,万物皆可Lora的时代是不远的

炼制Lora的方式有很多种

有用脚本训练的,也有在网站界面上训练的,最近还有很多朋友做出来了训练Lora的整合包

创建Lora模型的方式有许多,包括通过脚本进行训练,通过网页界面操作,甚至有一些专业人士最近提供了Lora训练的一键式整合包。尽管这些方法在表面上看起来有所不同,但其训练逻辑其实都是相同的。

因此,我们可以选择使用整合包。整合包的优点在于,它将炼丹所需的所有工具和步骤集成在一款软件中,为我们提供了一种更为便捷且有效的训练方式。

整合包就是把炼丹所需要的所有工具都整合到一个软件里

炼丹分为以下几步:

1.下载整合包

2.准备工作

3.开始训练

4.测试Lora

5.优化Lora

在炼Lora之前,需要大家先确认一下自己的电脑配置:

1.电脑配置需要N卡,并且6G显存以上

2.A卡和Mac系统,或者电脑配置不太行的小伙伴建议用云平台

我这里用的是B站up主朱尼酱的整合包:

下载好了之后把它解压到D盘或者E盘,不要放在C盘!!

秋叶的整合包我也试过炼Lora,两个对比下来,我觉得朱尼酱的整合包会更适合小白

打开解压之后的文件夹,在“cfurnace_ui”文件夹里面找到“赛博丹炉”的应用程序

可以创建一个桌面快捷方式,这样就不用每次都要打开文件

看到这个页面就安装好了,点击“开启炼丹炉”就可以开始炼Lora啦!

跟画图一样,炼Lora之前也要先选一个大模型,确定Lora的画风

这里训练的萌宠,我选择的是“cheeseDaddys_35”大模型

真人模型=》选用“chilloutmix”的大模型

二次元=》选用“anything”的大模型

如果你的StableDiffusion里面没有模型,那就要先去下载模型噢!

网盘里面已经给大家放了这两个大模型

再往下就可以选择一个我们要训练的Lora的类型

选择之后就会帮我们选择默认的参数

训练真人Lora就选“人物”

训练二次元就选“二次元”

如果想炼绘画的风格可以选画风

除此之外还可以自定义去炼平面设计图或者建筑之类的

我这里选择的是产品

以上准备工作及参数设置好了后,就可以开始上传自己的素材开始训练了。

这些素材就是我们要喂给AI学习的素材

素材的质量非常重要!!会直接影响最后出来的Lora的质量

我们的素材需要满足几个点:

1.上传20~30张照片

2.素材要高清!!!

3.多角度照片

这里我就以炼萌宠Lora为例子,上传萌宠的照片

点击“删除全部”把默认的素材删掉

然后点击“上传素材”,上传自己的照片

一般情况下,下面的参数默认就可以了

需要调整参数的话,最好是需要了解参数的含义,如果乱调的话,可能会训练失败。

不要选择太高的分辨率,容易爆显存

另外,如果训练真人Lora,可以勾选最右边的“脸部加强训练”

勾选了之后就会再多裁剪出来一组只有脸的照片,这样AI能学到更多的脸部细节

看到这个页面就是模型正在训练中

到这一步只要耐心等待就可以了,没什么需要操作的

我们可以看一下下面的参数是什么意思

“Steps”就是训练步数

每训练50步右下角就会出现一张图片

那样就可以实时看到Lora的样子

这个白头发和红裙子是后台加上去的关键词

可以测试Lora的泛化性

泛化性就是看这个Lora能不能自由的去更换照片里的东西,比如发型、发色、服装之类的

Loss可以用来参考模型的好坏

一个好的模型Loss值在0.07~0.09之间

注意:具体好不好还是要在StableDiffusion实际测试才知道

等训练完了之后,点击“模型”

就可以看到生成出来模型

按照默认参数训练会出来20个模型,但不是说最后一个模型就是最好的

有可能炼到第十六第是十七个模型就已经够了,再往后的模型就已经训练过度了

所以这些模型还要实际在SD测试一下,才知道哪个是最好的

模型生成出来之后就可以到SD里面生成图片

在SD里面可以生成这么一张大图,可以直接看到所有模型在不同权重下出来的效果

比较一下哪个模型更好,就只保留那个模型就可以了

接下来我们就看看怎么生成这张大图

首先把新生成的10个模型复制到SD的models文件夹,放到Lora文件夹里面

注意:最好新建一个文件夹,比如cuteDog

然后把没有序号编码的那个Lora重命名

没有序号编码的Lora就是最后生成出来的一个模型,这里只是为了方便进行测试,统一一下所有模型的名称

保存好模型之后就可以打开SD进行测试了

首先先选一个大模型

你用哪一个大模型来训练lora就选哪个大模型

然后输入正面关键词和负面关键词

正面关键词可以输入一些质量词,比如最高质量、高清画质、大师杰作等等

负面关键词直接复制我们以前用过的就可以

接下来就是选用我们刚刚炼好的Lora

随便选一个都可以

重点来了:把000017换成NUM,1换成STRENGTH

例如:

迭代步数,采样方法这些参数大家可以按照自己的习惯去修改

然后滑到最下面找到“脚本”

在脚本里面选择“X/Y/Z图表”

X轴、Y轴类型都选择“提示词搜索/替换”

X轴的值输入:NUM,000001,000002,000003,000004,000005,000006,000007,000008,000009,000010

这里的序号对应的就是我们10个Lora的编号

Y轴值输入:STRENGTH,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1

这里的序号代表的是Lora的权重

全部参数设置好了之后就可以点击“生成”

生成出来就是这么一张大图,可以看到这几个Lora模型在不同强度下的表现

实际上,炼丹是一件比较玄学的事

有的人可能一次性就能炼出自己满意的Lora

但有的人可能要炼好几次才出来一个好的Lora

这时候我们可以通过调整训练的参数再重新炼一个

前提是确保我们的喂给AI的素材是高质量的!

不然不管怎么修改参数,出来的Lora都是不合格的

这里我们就把炼Lora会遇到的问题分成两种情况

1.Lora出来的照片不像本人:AI没学好

2.Lora过拟合,甚至出来的照片崩了:AI学过头了

过拟合就是不管输入什么关键词,出来的照片都是你喂给AI的照片

没办法自由控制人物的服装、发型、发色等

点击“参数调优”我们就可以自行设置参数

如果生成的照片不像本人,那就可以适当增加Repeat(学习步数)值

如果照片过拟合了,那就减少Repeat值

其他参数都可以不用调,因为默认的参数就差不多是最优值了

THE END
1.可爱风萌宠背景图片素材下载本作品是张萌宠之家设计素材,素材编号为5526377,可爱风萌宠背景图片格式为AI,使用Adobe illustrator创作,欢迎下载更多萌宠之家设计模板、萌宠之家图片、本萌宠之家设计作品上的文字图片均可编辑修改。https://www.ztupic.com/sucai/5526377.html
2.鱼缸背景图片大全超清原图下载熊猫办公精心为您整理了27张适用于各种场景的精品鱼缸背景图片,想要下载好看好用的鱼缸背景图素材,更多背景壁纸、高清图片、动态背景模板,就到熊猫办公。https://www.tukuppt.com/speciall/yugang4471.html
3.蓝色背景下的白色可爱猫咪图片蓝色背景下的白色可爱猫咪图片 萌宠图片,萌猫图片,猫猫图片,可爱猫咪图片,波斯猫图片,小猫图片,白猫图片 动物图片共享与免费下载网站-素材公社(www.tooopen.com)https://www.tooopen.com/view/1909209.html
4.宝宝图片大全可爱婴儿萌系图片上班图片 上班搬砖图片素材大全 卡通猪图片 可爱的卡通猪手机壁纸头像图片 萌宠图片 萌化人心的宠物图片可爱壁纸 指南针图片 中国古代四大发明之一 好看的有个性qq名片背景图片 阅读10万+ 第五人格图片 每一张都可以当做壁纸 阅读8.9万 极度诱惑性感图片 海量高清性感美女图片 阅读10万+ 粉色少女心可爱卡通背景图片 软...https://m.keaidian.com/tupiandaquan/12524.html
5.小猫萌宠可爱图片小猫萌宠可爱素材小猫萌宠可爱图片下载视觉中国为您找到110742个原创小猫萌宠可爱素材图片,包括小猫萌宠可爱图片,小猫萌宠可爱插画,小猫萌宠可爱模板,小猫萌宠可爱元素,小猫萌宠可爱图标等源文件下载服务,包含PSD、PNG、JPG、AI、CDR等格式素材,更多关于小猫萌宠可爱素材、图片、海报、背景、插画、配图、https://www.vcg.com/creative-image/130146275
6.可爱小宠背景素材图片可爱小宠背景图片下载小清新可爱宠物店铺猫粮狗粮banner海报 PSDJPG 粉色萌萌可爱小猪卡通插画背景 PSDJPG 宠物用品促销banner海报 PSDJPG 宠物美容卡通童趣白色banner PSDJPG 小清新圣诞节banner海报背景 PSDJPG 可爱风格日常需求宠物用品全屏海报 PSDJPG 萌宠背景 JPG 萌宠来了可爱宠物黄色卡通banner ...https://www.51yuansu.com/bsearch/68331585c3ed30c4599a.html
7.宠物萌宠柴犬可爱简约插画边框背景背景图片下载图精灵为您提供宠物萌宠柴犬可爱简约插画边框背景免费下载,本背景图片为宠物萌宠柴犬可爱简约插画边框背景,格式为JPG,尺寸为3543x5315,下载后直接使用,下载宠物萌宠柴犬可爱简约插画边框背景背景图片就到图精灵。https://616pic.com/sucai/vwkf695jv.html
1.萌宠背景萌宠背景图片萌宠背景素材觅知网为您找到261个原创萌宠背景设计图片,包括萌宠背景图片,萌宠背景素材,萌宠背景海报,萌宠背景,萌宠背景模板源文件下载服务,包含PSD、PNG、JPG、AI、CDR等格式素材,更多关于萌宠背景素材、图片、海报、背景、插画、配图、矢量、UI、PS、免抠,模板、艺术字、PPT、https://www.51miz.com/so-sucai/4241802.html
2.宠物可爱背景宠物可爱背景图片、宠物可爱背景高清图片,堆糖精选最新宠物可爱背景图片大全,一键收藏免费下载。https://www.duitang.com/blogs/tag/?name=%E5%AE%A0%E7%89%A9%E5%8F%AF%E7%88%B1%E8%83%8C%E6%99%AF&start=240&limit=24
3.可爱萌宠猫咪图片素材可爱萌宠猫咪图片大全摄图网汇聚可爱萌宠猫咪图片大全:可爱萌宠猫咪素材、可爱萌宠猫咪高清图片、可爱萌宠猫咪背景图片等。你可以找可爱萌宠猫咪设计灵感、摄影创意,我们欢迎您下载可爱萌宠猫咪vrf正版授权图片,商用无压力https://699pic.com/image/27397482.html
4.可爱萌宠图片可爱萌宠图片大全高清背景图可爱萌宠图片-可爱萌宠图片大全是ZOL电脑壁纸库给您推荐的高清动物壁纸图片,并提供免费下载,让您更快的找到自己喜欢的动物相关的壁纸并下载使用。https://desk.zol.com.cn/bizhi/2390_30478_2.html
5.猫咪可爱头像图片大全猫咪可爱头像背景图片我图网为您匹配到猫咪可爱头像素材专题,提供大量猫咪可爱头像图片,猫咪可爱头像图片大全,猫咪可爱头像素材在线下载。更多猫咪可爱头像图片素材,尽在我图网。我们提供高质量正版图片供您使用,商用版权放心下载。https://www.ooopic.com/subjectinfo-165287/
6.萌宠图库超级可爱的头像集合但愿这场关于“萌”的盛宴能够持续下去,并且为我们带来更多惊喜。如果说现在还只是冰山一角,那么未来的可能只需想象就能触及天边。 标签:可爱卡通图片高清、女生头像图片可爱真人、可爱的壁纸图片萌萌哒、可爱的卡通图片萌萌哒、可爱背景图片萌萌哒https://www.ekxfqbtzf.cn/ke-ai/582307.html
7.萌宠汇集可爱萌萌哒头像大全萌宠的魅力 在这个快节奏的世界里,人们渴望一些简单、纯真的东西。可爱萌萌哒头像大全正好满足了这一需求,它们以其无邪的笑容和可爱的姿态,吸引着众多用户的心。 设计风格的多样性 从猫咪到狗狗,从小猪到兔子,每一种动物都有着独特而精致的设计。这些头像不仅仅是静止图案,它们融入了动感和活力的元素,使得每一个角...https://www.zxl033je.cn/wen-zi/506165.html
8.主题壁纸大全免费下载手机桌面高清壁纸!【海量壁纸】每日更新,都是你没见过的!【图集分类】可爱治愈、格子纹理、二次元、颜值美女、炫酷创意、动物萌宠,都是你想要的!【超清大图】极致清晰,细腻养眼!【壁纸制作】制作你的专属壁纸!https://apps.apple.com/zm/app/%E4%B8%BB%E9%A2%98%E5%A3%81%E7%BA%B8%E5%A4%A7%E5%85%A8-%E5%8A%A8%E6%80%81%E9%AB%98%E6%B8%85%E5%A3%81%E7%BA%B8%E8%83%8C%E6%99%AF%E5%9B%BE%E7%89%87/id6447440228
9.超级萌的可爱的狗狗写真背景图精选2021版最新的可爱萌宠合集超级萌的可爱的狗狗写真背景图 精选2021版最新的可爱萌宠合集 导读:超级萌的治愈系的狗狗图片送给大家哦,这种萌萌又好看的背景图总会让人的心情变的很好,所以马住当背景图片吧。 精选2021最新版的可爱萌宠图片送给各位哦,2021最新微信狗狗可爱图片,呆萌,软萌又可爱,任谁看了都会觉得治愈又可爱吧。https://m.qqtn.com/mipc/310111.html
10.萌宠卡通画图片大全可爱瞬间尽在一瞧每个萌宠都有它独特的人格特征,就像真实生命一样,每个人都有自己的故事。在这样的背景下,观众可以根据自己的喜好去理解和解读这些角色,从而更深层次地参与到这幅画面的世界之中。 跨越文化边界的友谊 无论是亚洲还是欧美,无论是古老传统还是现代流行,都有一些共同点,那就是对可爱、温暖以及友好的追求。因此,不同...https://www.kopckgiak.cn/kong-bu/208972.html
11.可爱背景图片萌萌哒可爱背景图素材→MAIGOO图库应该没有人能抵挡得住可爱的东西,可爱的东西能让人心情愉悦,治愈不开心。萌宠、小朋友就是可爱的代名词。让人忍不住想撸。本文为大家收录了高清免费的可爱背景图片素材,供大家参考使用。https://www.maigoo.com/tuku/526939.html
12.可爱动物图片萌宠美图可爱动物图片萌宠美图 摘要:为什么说好看的图片可爱? 在这个快节奏的时代,我们经常被各种信息和刺激所包围。有时候,人们需要一些轻松愉悦的心情来缓解生活中的压力。在这个过程中,“好看的图片可爱”成为了我们寻求心灵放松的一个重要途径。 什么是好看的图片可爱? 首先,“好看”的定义因人而异,但通常指的是视觉上...https://www.jyxwknjkb.cn/xin-qing/462174.html
13.温暖萌宠百张可爱图集带你回忆童年记忆温暖萌宠百张可爱图集带你回忆童年记忆 在这个快节奏的世界里,我们常常忘记了放慢脚步,去感受生活中的小确幸。正是在这样的背景下,一系列充满无尽魅力的可爱图片萌图100张涌现出来,它们不仅仅是视觉上的享受,更是情感上的一次旅行,让我们在忙碌的日程中,找回那份纯真和无忧无虑。https://www.swltlxthx.com/jing-dian/485141.html
14.卡通背景简笔画简笔画图片大全儿童简笔画背景图片 卡通简笔画的背景 儿童玩具简笔画卡通主图 关键词卡通风可爱旅游手账背景 卡通风 可爱 简笔画 底纹 线条 汽车 ppt背景亲子简笔画 可爱卡通动物简笔画矢量背景底纹 关键词可爱兔子卡通风格手账背景 手账 旅游 简笔画 手账本 笔记 卡通儿童画矢量人物简笔画 可爱插画手绘简笔画萌宠 卡通动物手...https://www.puchedu.cn/jianbihua/59c00313d8862681.html
15.2022呆萌可爱图片萌宠日常可爱少女装扮动物表情包动漫角色扮演...不过,有一点可以确定的是,无论怎样变迁,“截至此刻最棒”的感觉总会有人追求,即使是在高科技与虚拟现实盛行的情况下,也许我们会发现新的形式,但核心精神——让人们微笑和联结——不会消失。 标签:漂亮真人头像女、2021年最新款头像图片、超可爱超萌背景图、可爱的头像、又漂亮又可爱的图片...https://www.htun7lh7.cn/ke-ai-tou-xiang/858134.html
16.AI绘画:StableDiffusion炼丹Lora攻略实战萌宠图片生成lora炼丹近期在小红书发现了许多极其可爱、美观的萌宠图片,对这些美妙的图像深深着迷 于是想着看看利用AI绘画StableDiffusion以下简称(SD)做出来。 以下是详细实操的全过程,包括所有用的资料已经分享在文末! 最后尝试的最终效果如下: 一:准备 需要的资料都打包在网盘里面,需要的自行下载。 https://blog.csdn.net/Everly_/article/details/138600401