AI绘画:StableDiffusion炼丹Lora攻略实战萌宠图片生成写在前面的话近期在小红书发现了许多极其可爱

于是想着看看利用AI绘画StableDiffusion以下简称(SD)做出来。

以下是详细实操的全过程,包括所有用的资料已经打包到网盘。

最后尝试的最终效果如下:

更多图片请查看网盘:

「萌宠图片及关键词」

如果你想了解更多的StableDiffusion的知识,请参阅:

需要的资料都打包在网盘里面,需要的自行下载。

LORA可以让我们轻松画出特定的人物,物品,特殊的笔触和特殊的画风或风格,属于一种特殊训练的子集。

炼出一个自己的模特,让这个模特穿上自己的商品

添加一个衣服的Lora,就可以让人物穿上特定的衣服

通过添加Lora改变照片的画风,这个画风可以自己去训练

专业的解释

通俗的解释

Lora可以复刻人物和物品的特征,固定人物动作,改变照片画风

而且Lora只需要少量的数据就可以训练出来,比训练大模型要简单很多

所以大家可以通过训练自己的Lora,做出定制的图片

但不得不说的是,目前的Lora还不能做到100%相同,尤其是细节方面

但是相信随着之后的技术发展,万物皆可Lora的时代是不远的

炼制Lora的方式有很多种

有用脚本训练的,也有在网站界面上训练的,最近还有很多朋友做出来了训练Lora的整合包

创建Lora模型的方式有许多,包括通过脚本进行训练,通过网页界面操作,甚至有一些专业人士最近提供了Lora训练的一键式整合包。尽管这些方法在表面上看起来有所不同,但其训练逻辑其实都是相同的。

因此,我们可以选择使用整合包。整合包的优点在于,它将炼丹所需的所有工具和步骤集成在一款软件中,为我们提供了一种更为便捷且有效的训练方式。

整合包就是把炼丹所需要的所有工具都整合到一个软件里

炼丹分为以下几步:

1.下载整合包

2.准备工作

3.开始训练

4.测试Lora

5.优化Lora

在炼Lora之前,需要大家先确认一下自己的电脑配置:

1.电脑配置需要N卡,并且6G显存以上

2.A卡和Mac系统,或者电脑配置不太行的小伙伴建议用云平台

我这里用的是B站up主朱尼酱的整合包:

下载好了之后把它解压到D盘或者E盘,不要放在C盘!!

秋叶的整合包我也试过炼Lora,两个对比下来,我觉得朱尼酱的整合包会更适合小白

打开解压之后的文件夹,在“cfurnace_ui”文件夹里面找到“赛博丹炉”的应用程序

可以创建一个桌面快捷方式,这样就不用每次都要打开文件

看到这个页面就安装好了,点击“开启炼丹炉”就可以开始炼Lora啦!

跟画图一样,炼Lora之前也要先选一个大模型,确定Lora的画风

这里训练的萌宠,我选择的是“cheeseDaddys_35”大模型

真人模型=》选用“chilloutmix”的大模型

二次元=》选用“anything”的大模型

如果你的StableDiffusion里面没有模型,那就要先去下载模型噢!

网盘里面已经给大家放了这两个大模型

再往下就可以选择一个我们要训练的Lora的类型

选择之后就会帮我们选择默认的参数

训练真人Lora就选“人物”

训练二次元就选“二次元”

如果想炼绘画的风格可以选画风

除此之外还可以自定义去炼平面设计图或者建筑之类的

我这里选择的是产品

以上准备工作及参数设置好了后,就可以开始上传自己的素材开始训练了。

这些素材就是我们要喂给AI学习的素材

素材的质量非常重要!!会直接影响最后出来的Lora的质量

我们的素材需要满足几个点:

1.上传20~30张照片

2.素材要高清!!!

3.多角度照片

这里我就以炼萌宠Lora为例子,上传萌宠的照片

点击“删除全部”把默认的素材删掉

然后点击“上传素材”,上传自己的照片

一般情况下,下面的参数默认就可以了

需要调整参数的话,最好是需要了解参数的含义,如果乱调的话,可能会训练失败。

不要选择太高的分辨率,容易爆显存

另外,如果训练真人Lora,可以勾选最右边的“脸部加强训练”

勾选了之后就会再多裁剪出来一组只有脸的照片,这样AI能学到更多的脸部细节

看到这个页面就是模型正在训练中

到这一步只要耐心等待就可以了,没什么需要操作的

我们可以看一下下面的参数是什么意思

“Steps”就是训练步数

每训练50步右下角就会出现一张图片

那样就可以实时看到Lora的样子

这个白头发和红裙子是后台加上去的关键词

可以测试Lora的泛化性

泛化性就是看这个Lora能不能自由的去更换照片里的东西,比如发型、发色、服装之类的

Loss可以用来参考模型的好坏

一个好的模型Loss值在0.07~0.09之间

注意:具体好不好还是要在StableDiffusion实际测试才知道

等训练完了之后,点击“模型”

就可以看到生成出来模型

按照默认参数训练会出来20个模型,但不是说最后一个模型就是最好的

有可能炼到第十六第是十七个模型就已经够了,再往后的模型就已经训练过度了

所以这些模型还要实际在SD测试一下,才知道哪个是最好的

模型生成出来之后就可以到SD里面生成图片

在SD里面可以生成这么一张大图,可以直接看到所有模型在不同权重下出来的效果

比较一下哪个模型更好,就只保留那个模型就可以了

接下来我们就看看怎么生成这张大图

首先把新生成的10个模型复制到SD的models文件夹,放到Lora文件夹里面

注意:最好新建一个文件夹,比如cuteDog

然后把没有序号编码的那个Lora重命名

没有序号编码的Lora就是最后生成出来的一个模型,这里只是为了方便进行测试,统一一下所有模型的名称

保存好模型之后就可以打开SD进行测试了

首先先选一个大模型

你用哪一个大模型来训练lora就选哪个大模型

然后输入正面关键词和负面关键词

正面关键词可以输入一些质量词,比如最高质量、高清画质、大师杰作等等

负面关键词直接复制我们以前用过的就可以

接下来就是选用我们刚刚炼好的Lora

随便选一个都可以

重点来了:把000017换成NUM,1换成STRENGTH

例如:

迭代步数,采样方法这些参数大家可以按照自己的习惯去修改

然后滑到最下面找到“脚本”

在脚本里面选择“X/Y/Z图表”

X轴、Y轴类型都选择“提示词搜索/替换”

X轴的值输入:NUM,000001,000002,000003,000004,000005,000006,000007,000008,000009,000010

这里的序号对应的就是我们10个Lora的编号

Y轴值输入:STRENGTH,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1

这里的序号代表的是Lora的权重

全部参数设置好了之后就可以点击“生成”

生成出来就是这么一张大图,可以看到这几个Lora模型在不同强度下的表现

实际上,炼丹是一件比较玄学的事

有的人可能一次性就能炼出自己满意的Lora

但有的人可能要炼好几次才出来一个好的Lora

这时候我们可以通过调整训练的参数再重新炼一个

前提是确保我们的喂给AI的素材是高质量的!

不然不管怎么修改参数,出来的Lora都是不合格的

这里我们就把炼Lora会遇到的问题分成两种情况

1.Lora出来的照片不像本人:AI没学好

2.Lora过拟合,甚至出来的照片崩了:AI学过头了

过拟合就是不管输入什么关键词,出来的照片都是你喂给AI的照片

没办法自由控制人物的服装、发型、发色等

点击“参数调优”我们就可以自行设置参数

如果生成的照片不像本人,那就可以适当增加Repeat(学习步数)值

如果照片过拟合了,那就减少Repeat值

其他参数都可以不用调,因为默认的参数就差不多是最优值了

THE END
1.AIAI画服装效果图教程,想学的进来看看!!225阅读 2024-11-24 【女装纸样】2024年秋冬最耀眼的主流新时尚:血橙红Red Orange 1618阅读 2024-11-24 【女装纸样】服装推板放码 2742阅读 2024-11-24 【女装纸样】胸围180的风衣 2422阅读 2024-11-23 打开穿针引线APP客户端查看更多热门内容 实用工具 时尚快讯 设计大赛 服装学院 服装商机 服装招聘...http://app.eeff.net/mag/circle/v1/forum/threadWapPage?from=bbsh5&tid=484379
2.AI服装设计展示正在播放AI服装设计展示 人工智能时装秀 00:01:01 AI服装设计展示 00:00:28 AI国潮中秋夜 00:49:28 央视网《国潮风向标》走进中国国际服装服饰博览会,探访“上久楷”品牌展台。 00:03:43 央视网《国潮风向标》走进中国国际服装服饰博览会,探访“吉祥衣家”品牌展台。 00:05:46 黑龙江省“醉美冰雪季 非遗过大年...https://business.cctv.cn/2024/11/28/VIDEGIJQH0acJgtEnVnDWkP1241128.shtml
3.AI服装设计展示正在播放AI服装设计展示 人工智能时装秀 00:01:01 AI服装设计展示 00:00:28 AI国潮中秋夜 00:49:28 央视网《国潮风向标》走进中国国际服装服饰博览会,探访“上久楷”品牌展台。 00:03:43 央视网《国潮风向标》走进中国国际服装服饰博览会,探访“吉祥衣家”品牌展台。 00:05:46 黑龙江省“醉美冰雪季 非遗过大年...https://business.cctv.com/2024/11/28/VIDEGIJQH0acJgtEnVnDWkP1241128.shtml
4.AI绘画为服装定制赋能:开启个性化时尚新时代AI百科AI绘画服装定制的未来展望 AI绘画服装定制是一个新兴市场,但它发展迅速,前景广阔。随着AI技术的不断完善和消费者对个性化需求的日益提升,AI绘画服装定制有望成为未来服装行业的主流趋势。 未来,AI绘画技术将进一步与3D建模、虚拟试衣等技术结合,打造更加沉浸式的服装定制体验。用户可以通过虚拟试衣间,实时预览不同设计的...https://heiti.cn/ai/17549.html
5.ai基础教程素材网站图片免费下载教程画图插画基础教程 aiai制图基础教程视频ai制图基础教程ai软件画服装设计图基础教程ai服装设计图基础教程入门ai婚礼设计图基础教程ai基础教程设计图ai设计logo零基础教程智能ai设计logo基础教程ai设计logo 文字基础教程智能ai设计logo 基础教程ai设计logo基础教程logo设计ai基础教程ai设计logo 基础教程ai通道抠图基础教程...https://www.zcool.com.cn/tag/ZMzc0MjA4.html
6.AI软件培训adobeillustrator教程illustrator视频教程穿针引线服装设计师培训学院AI软件培训提供adobe illustrator教程、illustrator视频教程、Ai服装款式图绘制等视频教程,部分Illustrator视频教程免费提供给Illustrator服装设计画图爱好者学习。http://www.eeff.cn/video_list-38-156-3-0-1.html?keyword=%B7%FE%D7%B0%C9%E8%BC%C6
7.最新软件下载app软件下载免费视频软件下载多特软件教程频道为您提供最新软件下载基础使用图文教程,还有更多全面的各类软件教程手册,无论是新奇小软件的操作还是专业软件的使用技巧,多特软件教程都会为您解疑释惑。https://www.duote.com/tech/rjxz/
8.1.1.1各种服装制图的应用CorelDraw基础到进阶爱给网提供海量的CorelDRAW资源素材免费下载, 本次作品为mp4 格式的1.1.1 各种服装制图的应用, 本站编号35529888, 该CorelDRAW素材大小为2m, 时长为02分 03秒, 支持高清播放, 不同倍速播放 该素材已被下载:4次, 作者为Langhorne Slim, 更多精彩CorelDRAW素材,尽在爱给网。 教程简介: 教程收集自网络,希望大家...https://www.aigei.com/item/1_1_1_ge_zhong.html
9.SD电商Ai模特服饰换装超干货教程服装电商...来自SaturdaySD电商Ai模特服饰换装|超干货教程服装电商,仅需一张模特图就能无限换头使用SD—depth & 3D openpose结合ps bate快速生成电商模特图大模型:manicMIX realistic 麦橘写实v2.5 前期准备:基础服装模特图,服装已...https://weibo.com/5931853428/NhL6vx4xR
1.用AI只需2步,10秒一键试衣,效果惊艳!(附教程)(附教程) 记得之前有位电商老板加我问: 怎么用 AI 提效,比如帮他快速生成模特的服装展示图。 我说用 Stable Diffusion 可以。 最开始接触 AI 换装,就是用 SD 实现的。但玩过 SD 的都知道,使用 SD 换装对新手不是很友好,有一定的门槛。 而现在,不需要掌握任何的 AI 技术,上传两张图片(服装图 + 人物...https://blog.csdn.net/u011886447/article/details/144187920
2.flygondahanghai2023/docs/aihuihua而本次 AI 绘画航海,在此基础上,我们新增了更多新场景下的新玩法,如, AI 绘画+艺术二维码:艺术二维码...当然,如果你还是一个新手,建议按照本手册的教程,先学习如何用 AI 绘画工具完成出图。没有人能够一蹴...变现路径一:客单画图变现 抖音短视频/小红书笔记-引流到微信-客单画图变现 引流到私域后的变现方式,...https://github.com/OpenDocCN/flygon-dahanghai-2023/blob/master/docs/ai-huihua-zimeiti/README.md
3.新媒体运营AI工具导航AI工具AI办公工具 查看更多+ 荐司马阅AI读文档 司马阅(SmartRead)是一款AI文档阅读分析工具,基于AI...AI 提示语致力于为各类AI应用搭建、运行和推广的基础平台,让广大用户都能将AI的力量运用到实际的工作...通过这款工具,用户可以轻松应对翻译、对话、写作、阅读、信息获取、笔记记录以及画图等多样化需求,极大地...https://pidoutv.com/archives/favorites/ai-tools
4.ai免费网站在线体验列表导航站T-CHAT 免费的AI画图 34 TTSMAKER 免费的在线文本转语音神器 35 Giiso写作机器人 Giiso是一款内容创作AI辅助工具,提供资讯写作、小红书文案、短视频脚本、PPT创作、文生图等类型创作。 36 ATalk 是一个基于gpt-3.5-turbo引擎封装的网站,通过输入文本,输出相应的回答,实现智能聊天的功能 37 无界AI 无界AI...https://lzw.me/x/chatgpt-sites/
5.服装软件制图IllustratorAI教程应用基础电脑设计书自由组合套装Illustrator & Photoshop 服装与服饰品设计服装软件制图服装时尚效果图造型绘制 AI ps服装款式设计书电脑制图软件基础应用教程书¥36.8 折后¥36.8 发货地: 北京 包邮 风格: 服装 软件 制图 Illustrator ai 教程 应用 基础 电脑 设计书 ...https://www.zhe2.com/note/638264949638
6.零基础学打版服装制版基础知识讲解服装CAD打版视频教程零基础学打版-服装制版基础知识讲解【服装CAD打版】:| 课程介绍 |INTRODUCTION服装打版也称为服装制版,是一门系统技术,打好基础也是尤为重要,所以要做到完整、系统地制版学习。本课程通过分解服装各部位的基础知识,做到让学员在入门的同时,了解和理解服装制版的结构和https://www.yiihuu.com/a_11570.html
7.翻遍教育部推荐课程,整理出价值3万元的设计师免费课程表(下)课程介绍:本课程围绕人工智能展开,分享人工智能技术在各个领域的运用和创新设计(服装、汽车、游戏、机器人等等),讲解人工智能的基础算法,AI智能设计的规则和创新思维方法,帮助你理解人工智能的本质,学习相关的设计基础。 课程链接:https://www.icourse163.org/course/USTB-1206874802 ...https://www.uisdc.com/mooc-course-2
8.米哈游发布基于AI的半自动服装解算论文ABOUTCG资讯速递米哈游,利兹大学,伦敦大学学院和Adobe Research的研究团队宣布了一个框架,该框架使用深度学习半自动生成服装动画。 在这项研究中,我们提出了一种使用深度学习的方法,该方法可以半自动生成服装动画。 当您在经过解算的网络上设置身体运动和关键帧服装形状时,唯一的服装形状会自动传播运动。 在检查这些传播的形状时,可以通...https://www.aboutcg.com/29472.html