AI绘画:StableDiffusion炼丹Lora攻略实战萌宠图片生成写在前面的话近期在小红书发现了许多极其可爱

于是想着看看利用AI绘画StableDiffusion以下简称(SD)做出来。

以下是详细实操的全过程,包括所有用的资料已经打包到网盘。

最后尝试的最终效果如下:

更多图片请查看网盘:

「萌宠图片及关键词」

如果你想了解更多的StableDiffusion的知识,请参阅:

需要的资料都打包在网盘里面,需要的自行下载。

LORA可以让我们轻松画出特定的人物,物品,特殊的笔触和特殊的画风或风格,属于一种特殊训练的子集。

炼出一个自己的模特,让这个模特穿上自己的商品

添加一个衣服的Lora,就可以让人物穿上特定的衣服

通过添加Lora改变照片的画风,这个画风可以自己去训练

专业的解释

通俗的解释

Lora可以复刻人物和物品的特征,固定人物动作,改变照片画风

而且Lora只需要少量的数据就可以训练出来,比训练大模型要简单很多

所以大家可以通过训练自己的Lora,做出定制的图片

但不得不说的是,目前的Lora还不能做到100%相同,尤其是细节方面

但是相信随着之后的技术发展,万物皆可Lora的时代是不远的

炼制Lora的方式有很多种

有用脚本训练的,也有在网站界面上训练的,最近还有很多朋友做出来了训练Lora的整合包

创建Lora模型的方式有许多,包括通过脚本进行训练,通过网页界面操作,甚至有一些专业人士最近提供了Lora训练的一键式整合包。尽管这些方法在表面上看起来有所不同,但其训练逻辑其实都是相同的。

因此,我们可以选择使用整合包。整合包的优点在于,它将炼丹所需的所有工具和步骤集成在一款软件中,为我们提供了一种更为便捷且有效的训练方式。

整合包就是把炼丹所需要的所有工具都整合到一个软件里

炼丹分为以下几步:

1.下载整合包

2.准备工作

3.开始训练

4.测试Lora

5.优化Lora

在炼Lora之前,需要大家先确认一下自己的电脑配置:

1.电脑配置需要N卡,并且6G显存以上

2.A卡和Mac系统,或者电脑配置不太行的小伙伴建议用云平台

我这里用的是B站up主朱尼酱的整合包:

下载好了之后把它解压到D盘或者E盘,不要放在C盘!!

秋叶的整合包我也试过炼Lora,两个对比下来,我觉得朱尼酱的整合包会更适合小白

打开解压之后的文件夹,在“cfurnace_ui”文件夹里面找到“赛博丹炉”的应用程序

可以创建一个桌面快捷方式,这样就不用每次都要打开文件

看到这个页面就安装好了,点击“开启炼丹炉”就可以开始炼Lora啦!

跟画图一样,炼Lora之前也要先选一个大模型,确定Lora的画风

这里训练的萌宠,我选择的是“cheeseDaddys_35”大模型

真人模型=》选用“chilloutmix”的大模型

二次元=》选用“anything”的大模型

如果你的StableDiffusion里面没有模型,那就要先去下载模型噢!

网盘里面已经给大家放了这两个大模型

再往下就可以选择一个我们要训练的Lora的类型

选择之后就会帮我们选择默认的参数

训练真人Lora就选“人物”

训练二次元就选“二次元”

如果想炼绘画的风格可以选画风

除此之外还可以自定义去炼平面设计图或者建筑之类的

我这里选择的是产品

以上准备工作及参数设置好了后,就可以开始上传自己的素材开始训练了。

这些素材就是我们要喂给AI学习的素材

素材的质量非常重要!!会直接影响最后出来的Lora的质量

我们的素材需要满足几个点:

1.上传20~30张照片

2.素材要高清!!!

3.多角度照片

这里我就以炼萌宠Lora为例子,上传萌宠的照片

点击“删除全部”把默认的素材删掉

然后点击“上传素材”,上传自己的照片

一般情况下,下面的参数默认就可以了

需要调整参数的话,最好是需要了解参数的含义,如果乱调的话,可能会训练失败。

不要选择太高的分辨率,容易爆显存

另外,如果训练真人Lora,可以勾选最右边的“脸部加强训练”

勾选了之后就会再多裁剪出来一组只有脸的照片,这样AI能学到更多的脸部细节

看到这个页面就是模型正在训练中

到这一步只要耐心等待就可以了,没什么需要操作的

我们可以看一下下面的参数是什么意思

“Steps”就是训练步数

每训练50步右下角就会出现一张图片

那样就可以实时看到Lora的样子

这个白头发和红裙子是后台加上去的关键词

可以测试Lora的泛化性

泛化性就是看这个Lora能不能自由的去更换照片里的东西,比如发型、发色、服装之类的

Loss可以用来参考模型的好坏

一个好的模型Loss值在0.07~0.09之间

注意:具体好不好还是要在StableDiffusion实际测试才知道

等训练完了之后,点击“模型”

就可以看到生成出来模型

按照默认参数训练会出来20个模型,但不是说最后一个模型就是最好的

有可能炼到第十六第是十七个模型就已经够了,再往后的模型就已经训练过度了

所以这些模型还要实际在SD测试一下,才知道哪个是最好的

模型生成出来之后就可以到SD里面生成图片

在SD里面可以生成这么一张大图,可以直接看到所有模型在不同权重下出来的效果

比较一下哪个模型更好,就只保留那个模型就可以了

接下来我们就看看怎么生成这张大图

首先把新生成的10个模型复制到SD的models文件夹,放到Lora文件夹里面

注意:最好新建一个文件夹,比如cuteDog

然后把没有序号编码的那个Lora重命名

没有序号编码的Lora就是最后生成出来的一个模型,这里只是为了方便进行测试,统一一下所有模型的名称

保存好模型之后就可以打开SD进行测试了

首先先选一个大模型

你用哪一个大模型来训练lora就选哪个大模型

然后输入正面关键词和负面关键词

正面关键词可以输入一些质量词,比如最高质量、高清画质、大师杰作等等

负面关键词直接复制我们以前用过的就可以

接下来就是选用我们刚刚炼好的Lora

随便选一个都可以

重点来了:把000017换成NUM,1换成STRENGTH

例如:

迭代步数,采样方法这些参数大家可以按照自己的习惯去修改

然后滑到最下面找到“脚本”

在脚本里面选择“X/Y/Z图表”

X轴、Y轴类型都选择“提示词搜索/替换”

X轴的值输入:NUM,000001,000002,000003,000004,000005,000006,000007,000008,000009,000010

这里的序号对应的就是我们10个Lora的编号

Y轴值输入:STRENGTH,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1

这里的序号代表的是Lora的权重

全部参数设置好了之后就可以点击“生成”

生成出来就是这么一张大图,可以看到这几个Lora模型在不同强度下的表现

实际上,炼丹是一件比较玄学的事

有的人可能一次性就能炼出自己满意的Lora

但有的人可能要炼好几次才出来一个好的Lora

这时候我们可以通过调整训练的参数再重新炼一个

前提是确保我们的喂给AI的素材是高质量的!

不然不管怎么修改参数,出来的Lora都是不合格的

这里我们就把炼Lora会遇到的问题分成两种情况

1.Lora出来的照片不像本人:AI没学好

2.Lora过拟合,甚至出来的照片崩了:AI学过头了

过拟合就是不管输入什么关键词,出来的照片都是你喂给AI的照片

没办法自由控制人物的服装、发型、发色等

点击“参数调优”我们就可以自行设置参数

如果生成的照片不像本人,那就可以适当增加Repeat(学习步数)值

如果照片过拟合了,那就减少Repeat值

其他参数都可以不用调,因为默认的参数就差不多是最优值了

THE END
1.和橘子学AI绘图440集100实战(2024新课)深度...AI绘图的基本原理 AI绘图并不像人画画那样得先打草稿后再描边上色,而是运用了“扩散”来绘图,即以...https://bbs.pinggu.org/thread-12919502-1-1.html
2.python利用stablediffusionwebui进行AI画图朝阳1双击web.bat 会自动下载所有依赖,然后浏览器会打开,例如http://127.0.0.1:7860/ 启动参数 --lowvram --theme dark --xformers --precision full --no-half --no-half-vae --api --autolaunch 如果报错 OSError: Can’t load tokenizerfor‘openai/clip-vit-large-patch14’. If you were trying to lo...https://www.cnblogs.com/qcy-blog/p/18177119
3.AI它使用自然语言处理和文本转语音技术(Edge-TTS/VITS-Fast/elevenlabs)生成对观众问题的回答并可以通过so-vits-svc/DDSP-SVC变声;另外还可以通过特定指令协同Stable Diffusion进行画图展示。并且可以自定义文案进行循环播放。 视频教程合集 | 在线文档 目录 项目结构 下载项目 运行环境 ...https://gitee.com/sandayleo/AI-Vtuber
4....AI重磅发布多模态大模型PixtralLarge!3D数字教程软件入门 平面设计 3D数字 C4D教程 Blender教程 短视频制作 影视动画 摄影艺术 室内设计 绘画插画 海外教程 电商教程 产品精修 办公职场 编程开发 考证·外语 品牌设计 综合教程 UI设计 兴趣生活 详情 图文教程 训练营推荐 3D数字 超越GPT-4o!Mistral AI重磅发布多模态大模型Pixtral-Large!0...https://m.huke88.com/course/167483.html
5.RealFlow模拟海浪来袭特效教程Createalarge资源数量:9,其他后期软件教程_其他,Create a large-scale water simulation in RealFlow,Create a large-scale water simulation in RealFlow/Create a large-scale water simulation in RealFlow (1 of 9) (HD),Create a large-scale water simulation in RealFlow/Create https://www.aigei.com/view/110213.html
6.AIGC提示工程指南:AI使用导航教程论文与研究:《Prompt Engineering for Large Language Models》等文献提供了理论基础。 在线教程:慕课网、知乎等平台上有关大语言模型和提示工程的教程和讨论。 实战案例: 项目实例:创建一个AI文本生成项目,目标是生成关于科技趋势的文章。使用一个预训练的大语言模型。首先,定义目标任务,例如“生成一篇关于大数据应用的...https://www.imooc.com/article/348872
1.想入门学习AIGC,自己却对此毫无基础,该怎么办,看这篇零基础入门教学AI绘...建议新手可以考虑使用AiChat官网账号。这样使用实惠,生成的效果也十分惊艳,同时速度也非常快。这样,你就可以开始你的创作之旅了。 使用Midjourney画图 为了实现画图,我们只需要输入绘画的提示词prompt,prompt是你对想画的图的描述(AiChat中英文都支持)。受限在绘画描述中自己打字,也可以从画面描述中选择添加,绘画指令添...https://blog.csdn.net/xiaokangss/article/details/144104216
2.AI画图巨头StabilityAI推出创新视频生成模型:StableVideo...Stable Video Diffusion是由Stability AI推出的视频生成模型,基于Stable Diffusion构建,现已开源。该模型能基于静止图像生成视频,目前尚未面向所有用户开放。 技术亮点 视频生成: 支持将静止图像转化为视频。 开源访问: 通过GitHub提供项目地址。 用户候补名单: 有兴趣的用户可以通过Stability AI网站注册等候名单。 https://www.yizz.cn/4147.html
3.flygondahanghai2024/docs/ai如,MEWX AI、小狸猫 MEWX AI 教程《选修篇 7.1【国内工具】学会用 MEWX AI 完成 AI 绘画》 Vega AI 网页:https://rightbrain.art/ Vega AI 教程《7.2【国内工具】学会用 Vega AI 完成 AI 绘画》 无界AI 网页:https://www.wujieai.com/ Tiamat https://tiamat.world/ 微信小程序 Tiamat 暂时没有网页...https://github.com/OpenDocCN/flygon-dahanghai-2024/blob/master/docs/ai-huihua/README.md
4.好消息!吴恩达再发大模型精品课程:GenerativeAIwithLarge...吴恩达创办的DeepLearning.AI一直在提供各种面向AI领域的精品课程。在上个月,他们发布的四门AI短课程(包含了ChatGPT的使用、ChatGPT Prompt工程技术、面向LLM应用的LangChain教程和Diffusion工作原理)受到了广泛的欢迎。今天,吴恩达宣布与AWS的研究人员一起推出了全新的长课程《Generative AI with Large Language Models》,...http://datalearner.com/blog/1051688052742878
5.AI绘画《超入门级教程:训练自己的LORA模型》,MM超爱的萌宠...第一个需要下载的模型 clip-vit-large-patch14,是我们需要从https://huggingface.co/openai/clip-vit-large-patch14 自行下载模型文件,上传到/ark-contexts/data/huggingface/hub/models–openai–clip-vit-large-patch14/snapshots/8d052a0f05efbaefbc9e8786ba291cfdf93e5bff 文件夹下。 https://www.skycaiji.com/aigc/ai2042.html
6.3秒实现多音色混合克隆!F5/E2TTS教程上线;PsyDTCorpus5k心理...在线运行:https://go.hyper.ai/SZxqv 教程界面示例 3.Stable-Diffusion-3.5-Large 图像生成 Demo Stable Diffusion 3.5 Large 模型是一个多模态扩散生成器 (MMDiT) 文本生成图像模型,其特点是图像质量、排版、复杂提示理解和资源效率的显著提升,其 80 亿参数的庞大规模,提供了专业级别的图像生成能力,特别适合高分...https://hyper.ai/cn/news/35598
7.web.yjsuoj.com/nodenews/886891.shtmlJapanese large tits 02.37MB 19好评 欧美老妇黑毛B 少妇被粗大的猛烈的进出69影院 婚前教育BY阿司匹林...午夜ai免费久久 08.55MB 59%好评70人) 新金瓶梅高清完整版百度影音 差差差很疼30分钟短视频免费...《小太妹免费mp3下载手机软件安装教程》每日更新正版HD电_中国新闻网 兰州黄色av大片 公厕人形尿便...http://web.yjsuoj.com/nodenews/886891.shtml