AI绘画:StableDiffusion炼丹Lora攻略实战萌宠图片生成写在前面的话近期在小红书发现了许多极其可爱

于是想着看看利用AI绘画StableDiffusion以下简称(SD)做出来。

以下是详细实操的全过程,包括所有用的资料已经打包到网盘。

最后尝试的最终效果如下:

更多图片请查看网盘:

「萌宠图片及关键词」

如果你想了解更多的StableDiffusion的知识,请参阅:

需要的资料都打包在网盘里面,需要的自行下载。

LORA可以让我们轻松画出特定的人物,物品,特殊的笔触和特殊的画风或风格,属于一种特殊训练的子集。

炼出一个自己的模特,让这个模特穿上自己的商品

添加一个衣服的Lora,就可以让人物穿上特定的衣服

通过添加Lora改变照片的画风,这个画风可以自己去训练

专业的解释

通俗的解释

Lora可以复刻人物和物品的特征,固定人物动作,改变照片画风

而且Lora只需要少量的数据就可以训练出来,比训练大模型要简单很多

所以大家可以通过训练自己的Lora,做出定制的图片

但不得不说的是,目前的Lora还不能做到100%相同,尤其是细节方面

但是相信随着之后的技术发展,万物皆可Lora的时代是不远的

炼制Lora的方式有很多种

有用脚本训练的,也有在网站界面上训练的,最近还有很多朋友做出来了训练Lora的整合包

创建Lora模型的方式有许多,包括通过脚本进行训练,通过网页界面操作,甚至有一些专业人士最近提供了Lora训练的一键式整合包。尽管这些方法在表面上看起来有所不同,但其训练逻辑其实都是相同的。

因此,我们可以选择使用整合包。整合包的优点在于,它将炼丹所需的所有工具和步骤集成在一款软件中,为我们提供了一种更为便捷且有效的训练方式。

整合包就是把炼丹所需要的所有工具都整合到一个软件里

炼丹分为以下几步:

1.下载整合包

2.准备工作

3.开始训练

4.测试Lora

5.优化Lora

在炼Lora之前,需要大家先确认一下自己的电脑配置:

1.电脑配置需要N卡,并且6G显存以上

2.A卡和Mac系统,或者电脑配置不太行的小伙伴建议用云平台

我这里用的是B站up主朱尼酱的整合包:

下载好了之后把它解压到D盘或者E盘,不要放在C盘!!

秋叶的整合包我也试过炼Lora,两个对比下来,我觉得朱尼酱的整合包会更适合小白

打开解压之后的文件夹,在“cfurnace_ui”文件夹里面找到“赛博丹炉”的应用程序

可以创建一个桌面快捷方式,这样就不用每次都要打开文件

看到这个页面就安装好了,点击“开启炼丹炉”就可以开始炼Lora啦!

跟画图一样,炼Lora之前也要先选一个大模型,确定Lora的画风

这里训练的萌宠,我选择的是“cheeseDaddys_35”大模型

真人模型=》选用“chilloutmix”的大模型

二次元=》选用“anything”的大模型

如果你的StableDiffusion里面没有模型,那就要先去下载模型噢!

网盘里面已经给大家放了这两个大模型

再往下就可以选择一个我们要训练的Lora的类型

选择之后就会帮我们选择默认的参数

训练真人Lora就选“人物”

训练二次元就选“二次元”

如果想炼绘画的风格可以选画风

除此之外还可以自定义去炼平面设计图或者建筑之类的

我这里选择的是产品

以上准备工作及参数设置好了后,就可以开始上传自己的素材开始训练了。

这些素材就是我们要喂给AI学习的素材

素材的质量非常重要!!会直接影响最后出来的Lora的质量

我们的素材需要满足几个点:

1.上传20~30张照片

2.素材要高清!!!

3.多角度照片

这里我就以炼萌宠Lora为例子,上传萌宠的照片

点击“删除全部”把默认的素材删掉

然后点击“上传素材”,上传自己的照片

一般情况下,下面的参数默认就可以了

需要调整参数的话,最好是需要了解参数的含义,如果乱调的话,可能会训练失败。

不要选择太高的分辨率,容易爆显存

另外,如果训练真人Lora,可以勾选最右边的“脸部加强训练”

勾选了之后就会再多裁剪出来一组只有脸的照片,这样AI能学到更多的脸部细节

看到这个页面就是模型正在训练中

到这一步只要耐心等待就可以了,没什么需要操作的

我们可以看一下下面的参数是什么意思

“Steps”就是训练步数

每训练50步右下角就会出现一张图片

那样就可以实时看到Lora的样子

这个白头发和红裙子是后台加上去的关键词

可以测试Lora的泛化性

泛化性就是看这个Lora能不能自由的去更换照片里的东西,比如发型、发色、服装之类的

Loss可以用来参考模型的好坏

一个好的模型Loss值在0.07~0.09之间

注意:具体好不好还是要在StableDiffusion实际测试才知道

等训练完了之后,点击“模型”

就可以看到生成出来模型

按照默认参数训练会出来20个模型,但不是说最后一个模型就是最好的

有可能炼到第十六第是十七个模型就已经够了,再往后的模型就已经训练过度了

所以这些模型还要实际在SD测试一下,才知道哪个是最好的

模型生成出来之后就可以到SD里面生成图片

在SD里面可以生成这么一张大图,可以直接看到所有模型在不同权重下出来的效果

比较一下哪个模型更好,就只保留那个模型就可以了

接下来我们就看看怎么生成这张大图

首先把新生成的10个模型复制到SD的models文件夹,放到Lora文件夹里面

注意:最好新建一个文件夹,比如cuteDog

然后把没有序号编码的那个Lora重命名

没有序号编码的Lora就是最后生成出来的一个模型,这里只是为了方便进行测试,统一一下所有模型的名称

保存好模型之后就可以打开SD进行测试了

首先先选一个大模型

你用哪一个大模型来训练lora就选哪个大模型

然后输入正面关键词和负面关键词

正面关键词可以输入一些质量词,比如最高质量、高清画质、大师杰作等等

负面关键词直接复制我们以前用过的就可以

接下来就是选用我们刚刚炼好的Lora

随便选一个都可以

重点来了:把000017换成NUM,1换成STRENGTH

例如:

迭代步数,采样方法这些参数大家可以按照自己的习惯去修改

然后滑到最下面找到“脚本”

在脚本里面选择“X/Y/Z图表”

X轴、Y轴类型都选择“提示词搜索/替换”

X轴的值输入:NUM,000001,000002,000003,000004,000005,000006,000007,000008,000009,000010

这里的序号对应的就是我们10个Lora的编号

Y轴值输入:STRENGTH,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1

这里的序号代表的是Lora的权重

全部参数设置好了之后就可以点击“生成”

生成出来就是这么一张大图,可以看到这几个Lora模型在不同强度下的表现

实际上,炼丹是一件比较玄学的事

有的人可能一次性就能炼出自己满意的Lora

但有的人可能要炼好几次才出来一个好的Lora

这时候我们可以通过调整训练的参数再重新炼一个

前提是确保我们的喂给AI的素材是高质量的!

不然不管怎么修改参数,出来的Lora都是不合格的

这里我们就把炼Lora会遇到的问题分成两种情况

1.Lora出来的照片不像本人:AI没学好

2.Lora过拟合,甚至出来的照片崩了:AI学过头了

过拟合就是不管输入什么关键词,出来的照片都是你喂给AI的照片

没办法自由控制人物的服装、发型、发色等

点击“参数调优”我们就可以自行设置参数

如果生成的照片不像本人,那就可以适当增加Repeat(学习步数)值

如果照片过拟合了,那就减少Repeat值

其他参数都可以不用调,因为默认的参数就差不多是最优值了

THE END
1.盘点那些漂亮的呆萌宠物新闻 体育 汽车 房产 旅游 教育 时尚 科技 财经 娱乐 更多 无障碍 关怀版 登录 视频加载失败,可以 刷新 试试 00:00/00:00 推荐 已经到底了 盘点那些漂亮的呆萌宠物虚想幻 发布于:广东省 2024.11.12 21:29 分享到 热门视频 已经到底了 https://www.sohu.com/a/826163803_120473350
2.问一下,这些七彩萌宠你最喜欢哪一个?萌化了问一下,这些七彩萌宠你最喜欢哪一个? #阔爱炸了# #萌宠出道计划# #满屏幕的小猫咪啊# 萌化了 0条评论|0人参与网友评论 登录|注册发布 相关新闻 豆柴“击掌捐粮”公益活动圆满落幕 助力流浪动物温暖过冬 今天16:22| 新浪深圳 不满孩子被吓愤而摔狗商场“人狗冲突”何解? 11月12日 00:00| 新京报274...https://cj.sina.com.cn/articles/view/6041830274/m1681f038203301bhe0
3.52pk游戏网端游 青年琵琶艺术家柳青瑶倾力献曲《魔域》全能宠主题曲今日震撼发布!游戏下载 抵抗风暴 声音世界 ...端游测试表 日期游戏名称测试状态发号 11-02西游无双公测领号 09-20醉红楼公测领号 08-24战神传奇https://www.52pk.com/
4.萌宠猫咪图片萌宠猫咪图片大全可爱搞笑图吧萌宠猫咪为大家精心收集可爱的猫咪图片,萌宠小猫咪图片萌萌哒,萌宠猫咪图片大全可爱等内容,萌宠喵咪的样子非常可爱。一起来分享萌宠猫咪图片吧。https://www.gxt8.cn/plus/list.php?tid=80
5.颜值爆表的喵星人Suzume一波动图合集!萌哭...来自萌宠物联盟...ü 简介: 微博最大萌宠物集中地,以宠为爱,以萌为名,每天分享萌宠视频图片 T 友情链接 萌宠 萌宠物社区▉ 合作QQ799344407 更多a 13关注 3519403粉丝 37337微博 微关系 她的关注(9) 女品街 萌宠物搜罗 萌宠物天堂 九元购物 她的粉丝(351.9万) 废话文学主编 枪毙校长i 用户7959025063...https://weibo.com/3070969904/EtoBtaf4T
6.爱心汇聚温暖萌宠图片新闻爱心汇聚 温暖萌宠 图为芜湖职业技术学院食品与生物工程学院的志愿者。 8月25日,由芜湖职业技术学院食品与生物工程学院与共青团弋江区委员会主办的大学生暑期“三下乡”社会实践——小动物爱心领养活动举办。 活动现场热闹非凡,志愿者与工作人员为每一位前来咨询的市民详细介绍小动物们的健康状况、性格特点,以及领养后...http://ahwh.wenming.cn/tpxw/202408/t20240828_8643373.shtml
7.猫咪图片大全可爱kohaku大眼仔这魅力给多少分猫咪图片大全可爱kohaku大眼仔 这魅力给多少分 宝宝你的美瞳是哪里买的呀!http://m.mnw.cn/pet/news/1826160.html
8.3大区域(图1):...小七滴额娘的「此刻」3大区域(图1): 步行区 猛兽区 小火车/自驾区运营时间(图2): 园区8:30~17:30 自驾区9:00~15:30门票成人票150、学生/儿童票90,含步行区所有动物场馆+猛兽... - 点击看所有北京「此刻」http://live.16fan.com/info/370991.html
9.明星写真好看的明星写真套图高清明星写真图片天极图片跳转天极图片 > 明星写真都市丽人人像摄影EXID小清新潮人 超模何穗穿黑T搭配红色纱裙现身 皮肤...曲翊宏拍摄了一组与萌宠泰迪漫步园林的逗趣写真 赵丽颖外套盖腿加手捂防 展示淑女坐 女星王智拍摄了一...谢林彤长发演绎呆萌性感 肤白貌美!赵薇出席活动好身材一览无余 高圆圆海边随拍曝光 秀发飘逸甜笑迷人 ...https://wap.yesky.com/pic/c/6_243_56.shtml
1.猫儿们的世界探索各种迷人品种与精彩图片一、猫儿们的世界:探索各种迷人品种与精彩图片 二、第一只家园之主——欧洲短毛猫 三、第二只花式大师——波斯猫的魅力 四、第三位宠儿——英國短毛與美洲豹斑貓的獨特風格 五、第四位小天使——日本波斯與西伯利亚虎皮貓の溫馨神秘 六、第五位快乐伙伴——埃及缤纷与奥里诺科河狮子猫的活力风采 ...https://www.lynecx.cn/shui-zu-chong-wu/477291.html
2.张学友60+巡回演唱会成都站2023门票价格及座位图分布一览作为今年成都的首场大型万人演唱会,张学友60+巡回演唱会-成都站将于10月20日-11月5日在成都凤凰山体育公园体育馆唱响。这个秋天,久违的演唱会快乐,你确定不冲? 张学友成都演唱会时间:2023-10-20至2023-11-05 张学友成都演唱会地点:成都凤凰山体育公园综合体育馆 ...https://m.dahepiao.com/news/20230725404643.html
3.聪明的罗威纳犬图片大全军警犬罗威纳犬高清大图一览→MAIGOO图库聪明的罗威纳犬图片大全 军警犬罗威纳犬高清大图一览萌宠来袭 0 关注 摘要:罗威纳犬图片大全|罗威纳犬(Rottweiler)是一种古老的犬种,属于十分优秀的护卫犬。本次小编为您推荐罗威纳犬美图、罗威纳图片、洛威拿图片、罗特威勒图供您欣赏。进入查看模式>>1、可爱的幼年罗威纳 2、有威严感的小罗威纳犬 3、罗威纳犬与...https://m.maigoo.com/tuku/519263.html
4.游丽江作文(通用50篇)萌宠拍照乐悠悠 离开了大研古城,我们又来到束河古城。束河比大研小些。但是也是五脏俱全。街上各处几乎...云朵好像在跟我们在打招呼,视线豁然开朗,往下一看,所有的山都在我的脚下,真是“会当凌绝顶,一览众...曾几日在闭目时想象着亭台楼阁的美好,曾几日在梦中体会亭宇间建筑风格的潇洒,曾几日用手触碰图片试图...https://www.yuwenmi.com/zw/100504.html
5.附萌宠图“给狗狗打分”吸粉200万,萌宠社交的融资风口到了吗?90后白领张蓉下班后,几乎每天都会上微博、朋友圈翻翻宠物图片,或在B站看萌宠视频,有时候一看就是几个小时,工作一天的压力疲惫很快就被这些可爱萌宠“治愈”。平时太忙没有精力养宠物,但她在社交网站上找到了慰藉,与她志同道合的网友队伍,也不断壮大。 https://www.jfdaily.com/wx/detail.do?id=54428
6.最火可爱卡通图片超级萌宠揭秘全球最受欢迎的可爱卡通形象综上所述,“最火可爱卡通图片”之所以能够如此受欢迎,其背后蕴含着多方面因素:独特的人物设计、丰富的情感展现以及跨越时间与空间影响力。但无论他们源自何方,他们共同点都是那份不可抗拒的亲切感,让我们每个人都可以找到自己喜欢的地方,与这些“超级萌宠”共享快乐时光。https://www.rnzpobxs.cn/tou-xiang/796190.html
7.2022呆萌可爱图片我来给你展示这些超级萌宠的瞬间2022年,我们见证了许多让人心动的瞬间,尤其是那些呆萌可爱图片,它们不仅点亮了我们的社交媒体feed,也让我们的心情变得更加温暖。今天,我就来给你展示这些超级萌宠的瞬间! 首先,是小朋友们和他们忠实的小伙伴——宠物。看它们如何在一起玩耍,无论是在户外还是在家里的沙发上,都能感受到它们之间深厚的情谊。 https://www.nuedjm8r.cn/fei-zhu-liu-tou-xiang/756099.html