AI绘画:StableDiffusion炼丹Lora攻略实战萌宠图片生成写在前面的话近期在小红书发现了许多极其可爱

于是想着看看利用AI绘画StableDiffusion以下简称(SD)做出来。

以下是详细实操的全过程,包括所有用的资料已经打包到网盘。

最后尝试的最终效果如下:

更多图片请查看网盘:

「萌宠图片及关键词」

如果你想了解更多的StableDiffusion的知识,请参阅:

需要的资料都打包在网盘里面,需要的自行下载。

LORA可以让我们轻松画出特定的人物,物品,特殊的笔触和特殊的画风或风格,属于一种特殊训练的子集。

炼出一个自己的模特,让这个模特穿上自己的商品

添加一个衣服的Lora,就可以让人物穿上特定的衣服

通过添加Lora改变照片的画风,这个画风可以自己去训练

专业的解释

通俗的解释

Lora可以复刻人物和物品的特征,固定人物动作,改变照片画风

而且Lora只需要少量的数据就可以训练出来,比训练大模型要简单很多

所以大家可以通过训练自己的Lora,做出定制的图片

但不得不说的是,目前的Lora还不能做到100%相同,尤其是细节方面

但是相信随着之后的技术发展,万物皆可Lora的时代是不远的

炼制Lora的方式有很多种

有用脚本训练的,也有在网站界面上训练的,最近还有很多朋友做出来了训练Lora的整合包

创建Lora模型的方式有许多,包括通过脚本进行训练,通过网页界面操作,甚至有一些专业人士最近提供了Lora训练的一键式整合包。尽管这些方法在表面上看起来有所不同,但其训练逻辑其实都是相同的。

因此,我们可以选择使用整合包。整合包的优点在于,它将炼丹所需的所有工具和步骤集成在一款软件中,为我们提供了一种更为便捷且有效的训练方式。

整合包就是把炼丹所需要的所有工具都整合到一个软件里

炼丹分为以下几步:

1.下载整合包

2.准备工作

3.开始训练

4.测试Lora

5.优化Lora

在炼Lora之前,需要大家先确认一下自己的电脑配置:

1.电脑配置需要N卡,并且6G显存以上

2.A卡和Mac系统,或者电脑配置不太行的小伙伴建议用云平台

我这里用的是B站up主朱尼酱的整合包:

下载好了之后把它解压到D盘或者E盘,不要放在C盘!!

秋叶的整合包我也试过炼Lora,两个对比下来,我觉得朱尼酱的整合包会更适合小白

打开解压之后的文件夹,在“cfurnace_ui”文件夹里面找到“赛博丹炉”的应用程序

可以创建一个桌面快捷方式,这样就不用每次都要打开文件

看到这个页面就安装好了,点击“开启炼丹炉”就可以开始炼Lora啦!

跟画图一样,炼Lora之前也要先选一个大模型,确定Lora的画风

这里训练的萌宠,我选择的是“cheeseDaddys_35”大模型

真人模型=》选用“chilloutmix”的大模型

二次元=》选用“anything”的大模型

如果你的StableDiffusion里面没有模型,那就要先去下载模型噢!

网盘里面已经给大家放了这两个大模型

再往下就可以选择一个我们要训练的Lora的类型

选择之后就会帮我们选择默认的参数

训练真人Lora就选“人物”

训练二次元就选“二次元”

如果想炼绘画的风格可以选画风

除此之外还可以自定义去炼平面设计图或者建筑之类的

我这里选择的是产品

以上准备工作及参数设置好了后,就可以开始上传自己的素材开始训练了。

这些素材就是我们要喂给AI学习的素材

素材的质量非常重要!!会直接影响最后出来的Lora的质量

我们的素材需要满足几个点:

1.上传20~30张照片

2.素材要高清!!!

3.多角度照片

这里我就以炼萌宠Lora为例子,上传萌宠的照片

点击“删除全部”把默认的素材删掉

然后点击“上传素材”,上传自己的照片

一般情况下,下面的参数默认就可以了

需要调整参数的话,最好是需要了解参数的含义,如果乱调的话,可能会训练失败。

不要选择太高的分辨率,容易爆显存

另外,如果训练真人Lora,可以勾选最右边的“脸部加强训练”

勾选了之后就会再多裁剪出来一组只有脸的照片,这样AI能学到更多的脸部细节

看到这个页面就是模型正在训练中

到这一步只要耐心等待就可以了,没什么需要操作的

我们可以看一下下面的参数是什么意思

“Steps”就是训练步数

每训练50步右下角就会出现一张图片

那样就可以实时看到Lora的样子

这个白头发和红裙子是后台加上去的关键词

可以测试Lora的泛化性

泛化性就是看这个Lora能不能自由的去更换照片里的东西,比如发型、发色、服装之类的

Loss可以用来参考模型的好坏

一个好的模型Loss值在0.07~0.09之间

注意:具体好不好还是要在StableDiffusion实际测试才知道

等训练完了之后,点击“模型”

就可以看到生成出来模型

按照默认参数训练会出来20个模型,但不是说最后一个模型就是最好的

有可能炼到第十六第是十七个模型就已经够了,再往后的模型就已经训练过度了

所以这些模型还要实际在SD测试一下,才知道哪个是最好的

模型生成出来之后就可以到SD里面生成图片

在SD里面可以生成这么一张大图,可以直接看到所有模型在不同权重下出来的效果

比较一下哪个模型更好,就只保留那个模型就可以了

接下来我们就看看怎么生成这张大图

首先把新生成的10个模型复制到SD的models文件夹,放到Lora文件夹里面

注意:最好新建一个文件夹,比如cuteDog

然后把没有序号编码的那个Lora重命名

没有序号编码的Lora就是最后生成出来的一个模型,这里只是为了方便进行测试,统一一下所有模型的名称

保存好模型之后就可以打开SD进行测试了

首先先选一个大模型

你用哪一个大模型来训练lora就选哪个大模型

然后输入正面关键词和负面关键词

正面关键词可以输入一些质量词,比如最高质量、高清画质、大师杰作等等

负面关键词直接复制我们以前用过的就可以

接下来就是选用我们刚刚炼好的Lora

随便选一个都可以

重点来了:把000017换成NUM,1换成STRENGTH

例如:

迭代步数,采样方法这些参数大家可以按照自己的习惯去修改

然后滑到最下面找到“脚本”

在脚本里面选择“X/Y/Z图表”

X轴、Y轴类型都选择“提示词搜索/替换”

X轴的值输入:NUM,000001,000002,000003,000004,000005,000006,000007,000008,000009,000010

这里的序号对应的就是我们10个Lora的编号

Y轴值输入:STRENGTH,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1

这里的序号代表的是Lora的权重

全部参数设置好了之后就可以点击“生成”

生成出来就是这么一张大图,可以看到这几个Lora模型在不同强度下的表现

实际上,炼丹是一件比较玄学的事

有的人可能一次性就能炼出自己满意的Lora

但有的人可能要炼好几次才出来一个好的Lora

这时候我们可以通过调整训练的参数再重新炼一个

前提是确保我们的喂给AI的素材是高质量的!

不然不管怎么修改参数,出来的Lora都是不合格的

这里我们就把炼Lora会遇到的问题分成两种情况

1.Lora出来的照片不像本人:AI没学好

2.Lora过拟合,甚至出来的照片崩了:AI学过头了

过拟合就是不管输入什么关键词,出来的照片都是你喂给AI的照片

没办法自由控制人物的服装、发型、发色等

点击“参数调优”我们就可以自行设置参数

如果生成的照片不像本人,那就可以适当增加Repeat(学习步数)值

如果照片过拟合了,那就减少Repeat值

其他参数都可以不用调,因为默认的参数就差不多是最优值了

THE END
1.可爱图片第13页2024乖巧温柔个性女生可爱图片 01月22日性格很个性 2024精致温柔个性可爱女生图片 01月22日性格很个性 2024最新活泼好动萌娃可爱图片 01月22日性格很个性 2024最新可爱乖巧狗狗可爱图片 01月21日性格很个性 2024最新调皮萌娃可爱图片 01月20日性格很个性 ...https://www.woyaogexing.com/tupian/keai/index_13.html
2.翻遍了100个渣女的表情图库,我扒出了她们撩汉于无形的秘密…——卖萌可爱无敌杀 如果你感觉卖萌好像踢到了钢板 也就是遇到了那种不解风情的直男 那我们可以试试含蓄的另一种升级版 ——撩汉诗 一点点可爱,再加上99%的暧昧 用诗句小改的形式 加上不经意的表情包 既能凸显这方面的才华 又能让男神看到自己小鹿乱撞的心思 ...https://www.163.com/dy/article/EHS8VO2L05228OH7.html
3.100个萌萌哒的简笔画100个萌萌哒的简笔画怎么画?100个萌萌哒的简笔画频道涵盖各种100个萌萌哒的简笔画图片及100个萌萌哒的简笔画素材供您参考,同时提供100个萌萌哒的简笔画步骤分解图,让儿童轻松学习如何画100个萌萌哒的简笔画.https://m.jianbihua.com/phototag/138173
4.关于kkw的818件小事20162017陪你一路一起的365天7. 第二是给自己留个念想,追星一场别了无痕迹。 8. 第三嘛,未来预计有源源不断的新粉,说不定有人想了解这个时候的你呢?(? ?ω? ?)?当然,老粉若是闲来无事看看回忆回忆,那我也倍感荣幸。 9. 虽然主要是编年,但说到底还是事件的排列,姑且算作纪事本末体吧。 https://www.jianshu.com/p/89d48cca06f5
5.卡通漫画图片大全可爱(简单漫画100张)动漫女生可爱萌图片大全 2.超萌可爱漫画图片 3. 超可爱动漫人物二次元动漫卡哇伊萌图q版 动漫可爱情侣头像一起来换上吧. 动漫女生头像超可爱的. 简单 清新 古风 可爱 手绘 卡通 动漫 二次元 萌系 背影 清新 闺蜜 动漫美图这一组动漫图片太可爱特别是他气鼓鼓的脸蛋 女生头像 动漫二次元 软萌可爱日系睡前调个色 ...https://www.360doc.cn/article/773384_1029995477.html
6.100个解压涂鸦18/100漫画图片生活随手拍绘画漫画动漫可爱的啵啵鱼o_o 5 想破100粉 成河不早退 57 想破100粉 九倾-暂退 33 破100粉啦!!! 九倾-暂退 26 祝贺我破100粉(*′I`*) 狐九小僵 29 阿阿阿破100赞了 叶诗琳不吃树叶 26 100粉啦,感谢大家一路以来的陪伴 Ks_温少 7 我可真是个好姐姐,解锁海报涂鸦技能 ...https://www.kuaikanmanhua.com/webs/world/123520236808610185236
1.主题你一定要看我搜罗的超级可爱图片大全在这个快节奏的世界里,我们有时候需要一些小确幸来缓解压力。对于那些喜欢收集和分享美好事物的人来说,一个“可爱图片大全”简直是心灵的小屋。在这里,你可以找到各种各样的可爱图案,从萌宠到动漫角色,再到日常生活中的小细节,每一张都能让人不自觉地露出微笑。 https://www.geoxasnyaz.cn/wen-hou/342683.html
2.可爱图片萌萌哒可爱图片萌女孩卡通可爱的图片大全可爱就是令人喜爱的,可爱图片频道提供了最新流行的可爱图片萌萌哒,可爱图片萌女孩素材,女生们一定能够找到喜欢的.https://m.qqtn.com/tp/keaitp/
3.好玩的100个网站收藏26.亦歌网---太简单太简单的一个音乐网站 http://www.1g1g.com/ 27.失败照片大收集 http://failblog.org/ 28.把照片转化成字符~厉害~不过对图片有要求~必须是60×50的JPG图象``非常可爱 http://www.typorganism.com/asciiomatic/ 29.美味工厂(私房菜集中营,来这里分享你的创意吧!!) http...https://blog.csdn.net/hbuxiaofei/article/details/9042079
4....卷幼儿园玩具可爱伸缩吹吹卷宝宝生日100个图案随机...图片...京东JD.COM是国内专业的网上购物商城,为您提供郦狼六一儿童节礼物吹龙口哨吹卷幼儿园玩具可爱伸缩吹吹卷宝宝生日 100个图案随机...价格、图片、品牌、评论、等相关信息.http://item.m.jd.com/product/10113579656730.html
5.百宝箱里的萌宠100幅可爱图集的精选在这个快节奏的世界里,我们每个人都需要一些小确幸来缓解压力和忧愁。对于那些热爱动物尤其是可爱动物的人来说,拥有一个萌宠图片的百宝箱简直就是福音。在这里,我将带你一同探索这百宝箱,里面装满了100张令人心动、让人忍不住想要抱抱的可爱图片。 萌宠日常:无论是在早晨醒来时的小狗狗伸懒腰还是午后阳光下悠闲地...https://www.zxl033je.cn/ming-xing/518213.html
6.100个萌萌哒的简笔画表情简笔画图片大全一波超超超可爱的小表情系列简笔画 每一个表情都好生动形象 首页 长草颜团子简笔画-在线图片欣赏 画长草颜-开发微信表情包火爆 四格表情包简笔画 小人可爱表情包简笔画怎么画 可爱小表情简笔画的 简笔画萌萌表情包 超简单的表情简笔画萌萌哒内附教程 表情包的简笔画什么 分享一组简笔画30个萌萌哒表情包头像...https://www.puchedu.cn/jianbihua/166f6b11af76006f.html
7.WrittenKitten每输入100字,展示一张可爱的猫咪图片Written? Kitten!是一个神器的网站,它本身是一个功能极其简单的文本输入框,不同之处在于,当统计到用户每输入 100 个字的时候,就随机展示一张可爱的猫咪图片。@Appinn @Gawiel同学在微博上推荐了这个开源项目: Written Kitten这个网站是 gradhacker 博客上有人推荐的,可以用来帮助研究生写论文:工作机制极其简单,网页...https://www.appinn.com/written-kitten/
8.100本最棒的幼儿绘本推荐“凯迪克大奖”获奖童书,讲的是一个男孩在沙滩上捡拾到一架被海浪冲上岸的照相机,他将相机中的底片拿去冲洗后,看到了许多令人难以置信的相片,有在海龟背上的城市、会移动的海星岛屿、坐在沙发上看书的章鱼等等。于是男孩也下定决心要做之前每个小孩都会做的事。该书图片之精美令人叹为观止。 https://www.meipian.cn/38vrcu9w
9.hdongman(动漫网)求可爱的动漫图片(日漫) 活泼可爱型的 温柔型的 智慧型的 男生的动漫图 拳皇彩漫堂火舞在海滩的漫画(和小孩子的) 这个我看过,是全彩的,你百度“hdongman”有一个余饶论坛的帖子介绍几个网站的,点第一个进去在漫画区里找找,应该能找到。 帮我看下这个网页有毒没毒。 https://www.aiodt.com/article/19914.html
10.100种可爱小图案简笔画这百种可爱小图案简笔画,不仅能够帮助你释放压力,还能够作为一种社交媒介,让你的朋友们也分享到你的创造力与喜悦。在这个忙碌而复杂的世界里,让我们的灵魂回归到最原始、最纯真的状态,这或许就是“100种可爱小图案简笔画”的魅力所在。 标签:帅哥头像图片、帅哥脱裤子、帅哥被、帅哥头像、捆绑帅哥...https://www.ngpthawjhr.cn/shuai-ge/543148.html
11.温暖萌宠百张可爱图集带你回忆童年记忆因此,当你翻阅这百余幅精选照片的时候,请不要只停留在表面的欣赏,而应该尝试去挖掘其中蕴含的心理层面,从而获得更深刻的人生体悟。这就是为什么那些连同“可爱图片萌图100张”一起流传至今,其影响力之大,在于它不仅是一个单纯的视觉享受,更是一个连接过去、现在以及未来的大门。 https://www.swltlxthx.com/jing-dian/485141.html
12.女生网名可爱清纯大全(精选100个)螃蟹网精选100个女生网名可爱清纯大全分享给大家,个性、高级专属,适合用于QQ、微信、微博、抖音等女生网名可爱清纯大全如下: 100个女生网名可爱清纯大全 1.给岁月以文明--给时光以生命 个性专属【给岁月以文明--给时光以生命】的心情说说:高一喜欢汪苏泷,也明恋一个他https://www.dimloffxg.cn/chao-zhuai-fen-zu/205804.html
13.2022万圣节策划书(15篇)师:对了,这是一个成熟了的南瓜。别看它样子普普通通,其实呀,它可神奇了,可以做成很可爱的南瓜灯哦! 为了让学生感悟西方文化特色,了解万圣节的来历,通过万圣节活动的宣传,配合英语教学,培养学生英语学习的兴趣,体验节日的快乐,特举办雨外小“万圣节”主题活动。 https://www.yjbys.com/fangjia/jieri/1525063.html
14.卡通世界的魅力展现人物图片大图集锦一只温柔可爱的大熊猫,与其他动物一起去探索森林里的每一个角落,无论是在树梢上跳跃还是在溪流边玩耍,它都表现出了孩子般纯真的快乐态度,这种无忧无虑的情景给予了大人看似遥远又渺小地球上的珍贵事物新的认识,让我们的灵魂得到慰藉。 以上就是关于“卡通人物图片大全大图”一些特别有趣且具备教育意义的话题描述。你...https://www.ekxfqbtzf.cn/ke-ai/575928.html
15.杨漫妮所有照片欣赏:可爱小白兔!杨漫妮在第一张图片里面就像我们展示了自己可爱的一面,像一个可爱的小白兔一样,她把头发梳成了两半,左边一半,右边一半儿。 然后用一个粉铯的发带,把头发绑起来。 说实话,女主的长相也属于那种特别清纯的,但是她的清纯,跟cheryl青树的不一样,杨漫妮的清纯里面,往往又带有一点小霸道元素,总之就是让人非常的忘不...https://www.jitubar.com/100.html
16.暴漫蘑菇头我想要100块钱儿童节呆萌可爱gif动图动态图SOOGIF为您提供暴漫gif动态图片,蘑菇头我想要100块钱儿童节呆萌可爱动图表情包下载,还有更多关于暴漫,蘑菇头,我想要100块钱,儿童节,呆萌,可爱的动图内容,尽在SOOGIF。https://www.soogif.com/materialPage/UInyTAAjVQ8
17.40适用于发自拍的说说句子婚礼纪一、适用于发可爱系自拍的说说 1、回复“你超可爱”查看图片 2、今天是个假笑女孩 3、有人收小可爱嘛 反正我闲着也是闲着 4、春/夏/秋/冬日限定 5、? 6、可可爱爱 没有眼袋 7、欢迎光临我的开心 8、今日心情是开口向上的抛物线 .^?^. ...https://www.hunliji.com/bai_ke/detail_58351