AI绘画:StableDiffusion炼丹Lora攻略实战萌宠图片生成写在前面的话近期在小红书发现了许多极其可爱

于是想着看看利用AI绘画StableDiffusion以下简称(SD)做出来。

以下是详细实操的全过程,包括所有用的资料已经打包到网盘。

最后尝试的最终效果如下:

更多图片请查看网盘:

「萌宠图片及关键词」

如果你想了解更多的StableDiffusion的知识,请参阅:

需要的资料都打包在网盘里面,需要的自行下载。

LORA可以让我们轻松画出特定的人物,物品,特殊的笔触和特殊的画风或风格,属于一种特殊训练的子集。

炼出一个自己的模特,让这个模特穿上自己的商品

添加一个衣服的Lora,就可以让人物穿上特定的衣服

通过添加Lora改变照片的画风,这个画风可以自己去训练

专业的解释

通俗的解释

Lora可以复刻人物和物品的特征,固定人物动作,改变照片画风

而且Lora只需要少量的数据就可以训练出来,比训练大模型要简单很多

所以大家可以通过训练自己的Lora,做出定制的图片

但不得不说的是,目前的Lora还不能做到100%相同,尤其是细节方面

但是相信随着之后的技术发展,万物皆可Lora的时代是不远的

炼制Lora的方式有很多种

有用脚本训练的,也有在网站界面上训练的,最近还有很多朋友做出来了训练Lora的整合包

创建Lora模型的方式有许多,包括通过脚本进行训练,通过网页界面操作,甚至有一些专业人士最近提供了Lora训练的一键式整合包。尽管这些方法在表面上看起来有所不同,但其训练逻辑其实都是相同的。

因此,我们可以选择使用整合包。整合包的优点在于,它将炼丹所需的所有工具和步骤集成在一款软件中,为我们提供了一种更为便捷且有效的训练方式。

整合包就是把炼丹所需要的所有工具都整合到一个软件里

炼丹分为以下几步:

1.下载整合包

2.准备工作

3.开始训练

4.测试Lora

5.优化Lora

在炼Lora之前,需要大家先确认一下自己的电脑配置:

1.电脑配置需要N卡,并且6G显存以上

2.A卡和Mac系统,或者电脑配置不太行的小伙伴建议用云平台

我这里用的是B站up主朱尼酱的整合包:

下载好了之后把它解压到D盘或者E盘,不要放在C盘!!

秋叶的整合包我也试过炼Lora,两个对比下来,我觉得朱尼酱的整合包会更适合小白

打开解压之后的文件夹,在“cfurnace_ui”文件夹里面找到“赛博丹炉”的应用程序

可以创建一个桌面快捷方式,这样就不用每次都要打开文件

看到这个页面就安装好了,点击“开启炼丹炉”就可以开始炼Lora啦!

跟画图一样,炼Lora之前也要先选一个大模型,确定Lora的画风

这里训练的萌宠,我选择的是“cheeseDaddys_35”大模型

真人模型=》选用“chilloutmix”的大模型

二次元=》选用“anything”的大模型

如果你的StableDiffusion里面没有模型,那就要先去下载模型噢!

网盘里面已经给大家放了这两个大模型

再往下就可以选择一个我们要训练的Lora的类型

选择之后就会帮我们选择默认的参数

训练真人Lora就选“人物”

训练二次元就选“二次元”

如果想炼绘画的风格可以选画风

除此之外还可以自定义去炼平面设计图或者建筑之类的

我这里选择的是产品

以上准备工作及参数设置好了后,就可以开始上传自己的素材开始训练了。

这些素材就是我们要喂给AI学习的素材

素材的质量非常重要!!会直接影响最后出来的Lora的质量

我们的素材需要满足几个点:

1.上传20~30张照片

2.素材要高清!!!

3.多角度照片

这里我就以炼萌宠Lora为例子,上传萌宠的照片

点击“删除全部”把默认的素材删掉

然后点击“上传素材”,上传自己的照片

一般情况下,下面的参数默认就可以了

需要调整参数的话,最好是需要了解参数的含义,如果乱调的话,可能会训练失败。

不要选择太高的分辨率,容易爆显存

另外,如果训练真人Lora,可以勾选最右边的“脸部加强训练”

勾选了之后就会再多裁剪出来一组只有脸的照片,这样AI能学到更多的脸部细节

看到这个页面就是模型正在训练中

到这一步只要耐心等待就可以了,没什么需要操作的

我们可以看一下下面的参数是什么意思

“Steps”就是训练步数

每训练50步右下角就会出现一张图片

那样就可以实时看到Lora的样子

这个白头发和红裙子是后台加上去的关键词

可以测试Lora的泛化性

泛化性就是看这个Lora能不能自由的去更换照片里的东西,比如发型、发色、服装之类的

Loss可以用来参考模型的好坏

一个好的模型Loss值在0.07~0.09之间

注意:具体好不好还是要在StableDiffusion实际测试才知道

等训练完了之后,点击“模型”

就可以看到生成出来模型

按照默认参数训练会出来20个模型,但不是说最后一个模型就是最好的

有可能炼到第十六第是十七个模型就已经够了,再往后的模型就已经训练过度了

所以这些模型还要实际在SD测试一下,才知道哪个是最好的

模型生成出来之后就可以到SD里面生成图片

在SD里面可以生成这么一张大图,可以直接看到所有模型在不同权重下出来的效果

比较一下哪个模型更好,就只保留那个模型就可以了

接下来我们就看看怎么生成这张大图

首先把新生成的10个模型复制到SD的models文件夹,放到Lora文件夹里面

注意:最好新建一个文件夹,比如cuteDog

然后把没有序号编码的那个Lora重命名

没有序号编码的Lora就是最后生成出来的一个模型,这里只是为了方便进行测试,统一一下所有模型的名称

保存好模型之后就可以打开SD进行测试了

首先先选一个大模型

你用哪一个大模型来训练lora就选哪个大模型

然后输入正面关键词和负面关键词

正面关键词可以输入一些质量词,比如最高质量、高清画质、大师杰作等等

负面关键词直接复制我们以前用过的就可以

接下来就是选用我们刚刚炼好的Lora

随便选一个都可以

重点来了:把000017换成NUM,1换成STRENGTH

例如:

迭代步数,采样方法这些参数大家可以按照自己的习惯去修改

然后滑到最下面找到“脚本”

在脚本里面选择“X/Y/Z图表”

X轴、Y轴类型都选择“提示词搜索/替换”

X轴的值输入:NUM,000001,000002,000003,000004,000005,000006,000007,000008,000009,000010

这里的序号对应的就是我们10个Lora的编号

Y轴值输入:STRENGTH,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1

这里的序号代表的是Lora的权重

全部参数设置好了之后就可以点击“生成”

生成出来就是这么一张大图,可以看到这几个Lora模型在不同强度下的表现

实际上,炼丹是一件比较玄学的事

有的人可能一次性就能炼出自己满意的Lora

但有的人可能要炼好几次才出来一个好的Lora

这时候我们可以通过调整训练的参数再重新炼一个

前提是确保我们的喂给AI的素材是高质量的!

不然不管怎么修改参数,出来的Lora都是不合格的

这里我们就把炼Lora会遇到的问题分成两种情况

1.Lora出来的照片不像本人:AI没学好

2.Lora过拟合,甚至出来的照片崩了:AI学过头了

过拟合就是不管输入什么关键词,出来的照片都是你喂给AI的照片

没办法自由控制人物的服装、发型、发色等

点击“参数调优”我们就可以自行设置参数

如果生成的照片不像本人,那就可以适当增加Repeat(学习步数)值

如果照片过拟合了,那就减少Repeat值

其他参数都可以不用调,因为默认的参数就差不多是最优值了

THE END
1.chǒng C 字义 ①偏爱,过分地爱 ②光耀,荣耀 宠 8画 组词 ①宠爱 娇宠 哗众取宠 ②宠辱不惊 造句 她是母亲最宠爱的孩子。 上下 巧记 宝玉出走(宀),袭人无衣(龙)。 造字 形声书写“宀”的点写在竖中线上;“龙”的竖弯钩略伸展。字歌长城像巨龙 笼罩云雾中 领着宠物狗 沿着垄上行...https://www.taozhi.cn/a/87564.htm
2.用萌宠造句大全1.上派集成,厨间萌宠。 2.萌萌宠物,梦中爱宠。 3.萌宠驾到,快乐到家。 4.萌宠之选,爱宠之源,您的宠物之家。 5.这个夏天让你过足萌宠企鹅瘾。http://zaoju.xuexiaodaquan.com/zaoju/ci35ee83467379300d80f8fc7ff5f60bfc.html
3.探索萌宠魅力:打造专属宠物的馨文案集锦三、有关萌宠的文案怎么写:抓住情感共鸣 要想写好关于萌宠的文案,关键在于抓住情感共鸣。以下是部分建议,帮助你更好地表达对萌宠的情感。 文案内容: 1. “情感共鸣是关键:通过描绘宠物与主人之间的互动让读者产生共鸣。” 2. “细腻的描绘:留意细节的描绘,让读者仿佛置身于宠物的生活中。” ...http://www.slrbs.com/jrzg/aizhishi/298228.html
4.萌宠猫咪心思全写脸上,简直就像个宝宝萌宠猫咪心思全写脸上,简直就像个宝宝超人强动物俱乐部 吉林 0 打开网易新闻 体验效果更佳家里养的小母猫,发情后一直缠着男朋友,一点也不带伪装! 快乐搞笑有妹子 529跟贴 打开APP 讲真,是球网先动手的!!! 新媒体 打开APP 论背景音乐的重要性!! 新媒体 打开APP 旁边有个抢活的…怎么办?人都过去了? https://m.163.com/v/video/VUG2D8IC8.html
5.猫猫:这书上写的是个啥怎么看不懂呢[流汗]猫猫:这书上写的是个啥怎么看不懂呢[流汗] 让猫猫看书,我看你是在难为猫猫我#焦点作者成长计划 #毛孩子的出糗瞬间#和毛孩子的双向奔赴 #被幸福感击中的瞬间 #小动物的一万个心眼子#搞笑萌宠#我的宠物小宝#友好握爪计划#治愈猫咪 #记录猫咪日常https://m.dianping.com/ugcdetail/300094982?sceneType=0&bizType=29&msource=baiduappugc
1.我的萌宠作文7篇我的萌宠作文7篇 在平平淡淡的日常中,大家都尝试过写作文吧,根据写作命题的特点,作文可以分为命题作文和非命题作文。你知道作文怎样才能写的好吗?下面是小编收集整理的我的萌宠作文,仅供参考,大家一起来看看吧。 我的萌宠作文1 暑假里,我家里来了一位“小客人”。它是一只又白又胖又可爱的小博美犬,它是妈妈...https://mip.oh100.com/a/202104/3214410.html
2.萌宠比熊犬的文案怎么写?萌宠比熊犬的文案怎么写? 萌宠比熊犬一直以来都是备受关注的宠物种类之一,它们可爱的外貌,活泼可爱的性格,以及与人亲密的互动,都让人们对它们情有独钟。为了展示比熊犬可爱的一面,需要有一篇精心编写的文案来吸引人们的眼球。那么,究竟如何编写一篇生动有趣的萌宠比熊犬的文案呢?让我们一起来看看。https://www.chongwugo.cn/43695.html
3.怎么写我的小狗的作文:从萌宠日记到优秀范文的进阶之路!三年级要写作文了,题目是《我的小狗》! 脑袋一片空白,怎么写啊?! 别急,先想想你家狗狗的特别之处!是毛茸茸的大胖球?还是精力充沛的小闪电? 想想它最让你开心的事儿是什么? 它调皮捣蛋的样子?它依偎在你身边的样子? 把这些事情一件件写下来,用简单的词语,像跟朋友聊天一样。 例如:“小乖乖最爱吃肉骨头了...https://www.shicehao.com/t20241114060108aee9bj.html
4.关于写萌宠霸天下作文750字以上关于写萌宠霸天下作文750字以上 在学习、工作、生活中,大家都经常看到作文的身影吧,写作文可以锻炼我们的独处习惯,让自己的心静下来,思考自己未来的方向。那么你知道一篇好的作文该怎么写吗?下面是小编为大家收集的关于写萌宠霸天下作文750字以上,欢迎阅读与收藏。 https://mip.unjs.com/zuowendaquan/guanyuzuowen/4215628.html
5.华为手机自带的界面萌宠怎么喂饱8条回答:【推荐答案】华为手机自带的桌面萌宠可以帮助用户增强对手机的互动体验,通过喂食等操作可以提高萌宠的等级和属性。具体而言,用户可以通过点击桌面右上角的“+”按钮,在弹出的菜单中选择“添加桌面萌宠”,然后选择喜欢的萌宠形象进行添加。接着,在设置界面中找https://wap.zol.com.cn/ask/x_24810215.html
6....简单DIV布局宠物介绍网页模板代码DOCTYPEhtml>萌宠有家萌宠有家傻二哈的世界登录/注册https://blog.csdn.net/m0_65484028/article/details/135400361
7.家有萌宠作文12篇(精品)在现实生活或工作学习中,大家最不陌生的就是作文了吧,根据写作命题的特点,作文可以分为命题作文和非命题作文。那要怎么写好作文呢?以下是小编为大家收集的家有萌宠作文,希望能够帮助到大家。 家有萌宠作文1 我在家里养了一只金刚鹦鹉叫飞飞。它在大鸟笼中快乐地跳上跳下,无忧无虑地生活着。 https://www.ruiwen.com/w/447608.html
8.我是小明星范文12篇(全文)我不是大明星,我是小萌宠 第4篇 ·可爱小不点——俊介君 姓名:俊介 年龄:12岁 居住地:日本·千叶县 要说网络上曝光率最高的狗狗,俊介绝对是当之无愧的头号偶像。这只名叫俊介的博美犬,凭借它呆萌的长相、无比纯真的眼神以及憨态可掬的各种造型火速蹿红,成为如今宠物界的“盟主”。 https://www.99xueshu.com/w/file1ymtrnq7.html
9.白头梦写的小说《未来兽世当萌宠》白玥狼硝全文阅读《未来兽世当萌宠》 小说介绍 最近很多网友对小说《未来兽世当萌宠》的后续非常感兴趣,本文是一本穿越末世文,主角白玥狼硝演绎的剧情中涵盖了多种元素,大神“白头梦”创作的主要内容有:狐兽看到这样的画面也倍感意外,不由多看了白玥两眼,挺有灵性的,只可惜太瘦了。“这是昨天下午一支队伍在野外捡回…… 《未来兽...https://www.zhuangji.cc/chapter/563536.html
10.挖掘机写春联萌宠齐上线……快看山东人的花式拜年!济南野生动物世界拍下了 熊猫、醍醐、大象、老虎等 十余种小动物的憨态瞬间, 来给大家拜年。 哪只小可爱治愈了你呢? 新年的钟声即将敲响 在此,给大家拜个早年 牛气带来好运长,年送欢乐家瑞祥 新春快乐! 原标题:《挖掘机写春联、萌宠齐上线……快看山东人的花式拜年!》...https://m.thepaper.cn/newsDetail_forward_11325099
11.怎么写萌宠乐园的句子萌宠乐园是一个充满欢乐和温馨的地方,这里有各种可爱的宠物,包括小狗、小猫、小兔子等等。孩子们可以在这里与宠物亲密接触,感受宠物的温暖和可爱。萌宠乐园不仅是一个玩耍的地方,更是一个教育场所,孩子们可以在这里学习到如何照顾宠物,培养爱心和责任感。萌宠乐园还会举办各种宠物比赛和活动,让孩子们和宠物们一起享受...https://www.beitazoo.com/eden/255354.html