AI绘画:StableDiffusion炼丹Lora攻略实战萌宠图片生成写在前面的话近期在小红书发现了许多极其可爱

于是想着看看利用AI绘画StableDiffusion以下简称(SD)做出来。

以下是详细实操的全过程,包括所有用的资料已经打包到网盘。

最后尝试的最终效果如下:

更多图片请查看网盘:

「萌宠图片及关键词」

如果你想了解更多的StableDiffusion的知识,请参阅:

需要的资料都打包在网盘里面,需要的自行下载。

LORA可以让我们轻松画出特定的人物,物品,特殊的笔触和特殊的画风或风格,属于一种特殊训练的子集。

炼出一个自己的模特,让这个模特穿上自己的商品

添加一个衣服的Lora,就可以让人物穿上特定的衣服

通过添加Lora改变照片的画风,这个画风可以自己去训练

专业的解释

通俗的解释

Lora可以复刻人物和物品的特征,固定人物动作,改变照片画风

而且Lora只需要少量的数据就可以训练出来,比训练大模型要简单很多

所以大家可以通过训练自己的Lora,做出定制的图片

但不得不说的是,目前的Lora还不能做到100%相同,尤其是细节方面

但是相信随着之后的技术发展,万物皆可Lora的时代是不远的

炼制Lora的方式有很多种

有用脚本训练的,也有在网站界面上训练的,最近还有很多朋友做出来了训练Lora的整合包

创建Lora模型的方式有许多,包括通过脚本进行训练,通过网页界面操作,甚至有一些专业人士最近提供了Lora训练的一键式整合包。尽管这些方法在表面上看起来有所不同,但其训练逻辑其实都是相同的。

因此,我们可以选择使用整合包。整合包的优点在于,它将炼丹所需的所有工具和步骤集成在一款软件中,为我们提供了一种更为便捷且有效的训练方式。

整合包就是把炼丹所需要的所有工具都整合到一个软件里

炼丹分为以下几步:

1.下载整合包

2.准备工作

3.开始训练

4.测试Lora

5.优化Lora

在炼Lora之前,需要大家先确认一下自己的电脑配置:

1.电脑配置需要N卡,并且6G显存以上

2.A卡和Mac系统,或者电脑配置不太行的小伙伴建议用云平台

我这里用的是B站up主朱尼酱的整合包:

下载好了之后把它解压到D盘或者E盘,不要放在C盘!!

秋叶的整合包我也试过炼Lora,两个对比下来,我觉得朱尼酱的整合包会更适合小白

打开解压之后的文件夹,在“cfurnace_ui”文件夹里面找到“赛博丹炉”的应用程序

可以创建一个桌面快捷方式,这样就不用每次都要打开文件

看到这个页面就安装好了,点击“开启炼丹炉”就可以开始炼Lora啦!

跟画图一样,炼Lora之前也要先选一个大模型,确定Lora的画风

这里训练的萌宠,我选择的是“cheeseDaddys_35”大模型

真人模型=》选用“chilloutmix”的大模型

二次元=》选用“anything”的大模型

如果你的StableDiffusion里面没有模型,那就要先去下载模型噢!

网盘里面已经给大家放了这两个大模型

再往下就可以选择一个我们要训练的Lora的类型

选择之后就会帮我们选择默认的参数

训练真人Lora就选“人物”

训练二次元就选“二次元”

如果想炼绘画的风格可以选画风

除此之外还可以自定义去炼平面设计图或者建筑之类的

我这里选择的是产品

以上准备工作及参数设置好了后,就可以开始上传自己的素材开始训练了。

这些素材就是我们要喂给AI学习的素材

素材的质量非常重要!!会直接影响最后出来的Lora的质量

我们的素材需要满足几个点:

1.上传20~30张照片

2.素材要高清!!!

3.多角度照片

这里我就以炼萌宠Lora为例子,上传萌宠的照片

点击“删除全部”把默认的素材删掉

然后点击“上传素材”,上传自己的照片

一般情况下,下面的参数默认就可以了

需要调整参数的话,最好是需要了解参数的含义,如果乱调的话,可能会训练失败。

不要选择太高的分辨率,容易爆显存

另外,如果训练真人Lora,可以勾选最右边的“脸部加强训练”

勾选了之后就会再多裁剪出来一组只有脸的照片,这样AI能学到更多的脸部细节

看到这个页面就是模型正在训练中

到这一步只要耐心等待就可以了,没什么需要操作的

我们可以看一下下面的参数是什么意思

“Steps”就是训练步数

每训练50步右下角就会出现一张图片

那样就可以实时看到Lora的样子

这个白头发和红裙子是后台加上去的关键词

可以测试Lora的泛化性

泛化性就是看这个Lora能不能自由的去更换照片里的东西,比如发型、发色、服装之类的

Loss可以用来参考模型的好坏

一个好的模型Loss值在0.07~0.09之间

注意:具体好不好还是要在StableDiffusion实际测试才知道

等训练完了之后,点击“模型”

就可以看到生成出来模型

按照默认参数训练会出来20个模型,但不是说最后一个模型就是最好的

有可能炼到第十六第是十七个模型就已经够了,再往后的模型就已经训练过度了

所以这些模型还要实际在SD测试一下,才知道哪个是最好的

模型生成出来之后就可以到SD里面生成图片

在SD里面可以生成这么一张大图,可以直接看到所有模型在不同权重下出来的效果

比较一下哪个模型更好,就只保留那个模型就可以了

接下来我们就看看怎么生成这张大图

首先把新生成的10个模型复制到SD的models文件夹,放到Lora文件夹里面

注意:最好新建一个文件夹,比如cuteDog

然后把没有序号编码的那个Lora重命名

没有序号编码的Lora就是最后生成出来的一个模型,这里只是为了方便进行测试,统一一下所有模型的名称

保存好模型之后就可以打开SD进行测试了

首先先选一个大模型

你用哪一个大模型来训练lora就选哪个大模型

然后输入正面关键词和负面关键词

正面关键词可以输入一些质量词,比如最高质量、高清画质、大师杰作等等

负面关键词直接复制我们以前用过的就可以

接下来就是选用我们刚刚炼好的Lora

随便选一个都可以

重点来了:把000017换成NUM,1换成STRENGTH

例如:

迭代步数,采样方法这些参数大家可以按照自己的习惯去修改

然后滑到最下面找到“脚本”

在脚本里面选择“X/Y/Z图表”

X轴、Y轴类型都选择“提示词搜索/替换”

X轴的值输入:NUM,000001,000002,000003,000004,000005,000006,000007,000008,000009,000010

这里的序号对应的就是我们10个Lora的编号

Y轴值输入:STRENGTH,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1

这里的序号代表的是Lora的权重

全部参数设置好了之后就可以点击“生成”

生成出来就是这么一张大图,可以看到这几个Lora模型在不同强度下的表现

实际上,炼丹是一件比较玄学的事

有的人可能一次性就能炼出自己满意的Lora

但有的人可能要炼好几次才出来一个好的Lora

这时候我们可以通过调整训练的参数再重新炼一个

前提是确保我们的喂给AI的素材是高质量的!

不然不管怎么修改参数,出来的Lora都是不合格的

这里我们就把炼Lora会遇到的问题分成两种情况

1.Lora出来的照片不像本人:AI没学好

2.Lora过拟合,甚至出来的照片崩了:AI学过头了

过拟合就是不管输入什么关键词,出来的照片都是你喂给AI的照片

没办法自由控制人物的服装、发型、发色等

点击“参数调优”我们就可以自行设置参数

如果生成的照片不像本人,那就可以适当增加Repeat(学习步数)值

如果照片过拟合了,那就减少Repeat值

其他参数都可以不用调,因为默认的参数就差不多是最优值了

THE END
1.智能AI排版精选佳作展示智能AI排版精选佳作展示 智能排版精选佳作展示——探索自然与人类情感的交织 导语:随着科技的飞速发展人工智能()在艺术领域的应用日益广泛。本文将为您展示一组由生成的画作通过简约的线条和色彩传达出大自然的辽阔与人的渺小、孤独感。让咱们一起感受艺术的无穷魅力。 http://www.slrbs.com/jrzg/aixuexi/764118.html
2.StableDiffusion学习——AI绘画入门教程与模型介绍TusiArt:国内免费在线生成图像的AI绘画模型分享社区。 社区与教程资源 慕课网:提供AI绘画、机器学习等领域的在线课程与教程。 GitHub:搜索Stable Diffusion相关的开源项目,获取最新的模型和案例。 社区论坛:在相关论坛或社区活跃,参与讨论,获取更深入的技术支持和交流。 总结与建议 学习路径与资源汇总 基础理解:从安装Py...https://www.imooc.com/article/349604
3.aiassistant1、AI 换脸:他人的脸,换成自己的 2、AI 会话:随问随答; 3、AI 绘画:生成各种尺寸图片; 4、AI 私域:提供文件,能让大模型来参考回答;支持各种文本格式 5、AI PPT:只要从一个标题开始,就可以生成图文演示;用于汇报宣讲、教学广告等等 二、线上应用 ...https://gitee.com/rocy_wang/ai-assistant-web
4.讯飞星火大模型AI大语言模型星火大模型时事新闻、行业资讯、天文地理,AI一搜便知 强大溯源 每个答案参考50-100个网页资料,保证时效性与权威性 热点推荐 自由订阅兴趣热点,行业资讯及时推送 星火智能体 深入垂直场景与核心需求,为个体和企业提供开箱即用的大模型应用 星火助手 35000+公开助手覆盖日常核心需求,为每个人的工作、出行、健康等方方面面优化体验,...https://xinghuo.xfyun.cn/
1.StableDiffusion大模型主流的有哪些?墨幽2.5d通过阅读上面的内容,你可能已经对AI绘画的模型有了一定的了解,但你是否想过,如何利用这些模型来创作出自己的作品呢?相信大部分人可能连上面这些模型如何下载都不知道,甚至连最基本的StableDiffusion,也不知道如何在自己的本地搭建使用,因此很多人在了解AI设计行业、安装软件、下载模型就遇到了问题。如果有需要帮助的小...https://blog.csdn.net/Coo123_/article/details/143771441
2.StableDiffusion2024(史上最全):Ai绘画AIGC最新安装包SD模型/...Stable Diffusion 资源整理包,为全网第一最全最新最优质的SD资源合集 整合包:《N卡专用SD安装包》+《A卡专用SD安装包》+《Mac专用SD安装包》 模型包:《100G精选模型》+《Stable Diffusion 2024(史上最全):Ai绘画AIGC最新安装包SD模型/插件/学习教程远程安装下载https://sskoo.cn/sdjc/
3.AI绘画新标杆!一文详解最新开源模型Flux.1(附新版工作流&模型资源...大家好,这里是和你们一起探索 AI 的花生~继 SD 3 Medium、Kolors 之后,开源领域又新增了一款文本-图像生成模型 Flux.1。它由 Stability AI 前核心成员主导开发,模型质量远超 SD 3,甚至与闭源的 Midjourney v6.1 模型不相上下,成为了 AI 文生图模型的新标杆...https://www.uisdc.com/flux-1
4.10个国内免费AI绘画网站汇总2024最新在6pen,你可以自由选择使用深度优化的disco diffusion引擎、广受好评的Stable Diffusion引擎,以及6pen自研的小模型引擎,创作出令人惊叹的AI绘画作品,并在社区及画展中展示。你可以自由调整模型、随机种子、参考图、分辨率、风格修饰和艺术家风格,以获得最佳效果。在恰当的文本描述和风格修饰下,6pen能够达到与midjourney甚...https://www.skycaiji.com/aigc/ai19877.html
5.Civitai官网,C站AI绘画模型社区,绘画艺术模型下载与分享,Stable...Civitai是一个提供AI艺术资源分享和发现的平台,旨在帮助用户轻松探索并使用各类AI艺术模型。平台用户可以上传和分享自己用数据训练的AI自定义模型,或者浏览和下载其他用户创建的模型。这些模型可以与AI艺术软件一起使用,生成个性化、独特的艺术作品。 Civitai专注于Stable Diffusion的AI绘画模型技术,这是一种基于梯度下降的...https://feizhuke.com/sites/civitai.html
6.Civitai社区(C站官网)Civitai(c站)是一个模型在线平台,人们可以很容易地分享和发现人工智能艺术创作的资源。用户可以上传和分享经过训练的模型,以生成特定风格的艺术,或者浏览和下载其他用户创建的模型。https://www.aigc.cn/sites/1936.html
7.吐司ai官网,tusi绘画模型网站,tusiart超多功能的免费在线生图网站...超多功能的免费在线生图网站!拥有全网更齐全的模型库,0门槛使用!吐司(Tusi)Art一个国内可用、免费在线生成图像的AI绘画模型分享社区。在这个社区中,用户不仅可以上传和下载AI绘画模型,还可以直接在网页上使用运行模型进行AI绘画。 吐司ai官网: https://tusiart.com/ 通过使用稳定扩散(Stable Diffusion)技术,您可以在...https://biemoyu.com/sites/tusi-ai-huihua.html
8.触手AI专业版还在苦恼电脑配置低,玩不了AI绘画模型训练?触手AI绘画专业版来了,目前公测期间完全免费,无须高配电脑,人人都能轻松训练自己的专属AI绘画模型!让你的AI绘画从此与众不同! 触手AI专业版官网地址:http://douchu.ai/ 触手AI专业版是什么? 触手AI专业版,是触手AI绘画针对有模型训练需求及深度参数配置来进行AI生成功能...https://www.zmthome.com/site/5729.html
9....VAE+ControlNetTile模型,低显存打造AI绘画超高清6K分辨率...(如果成图不太像,可增加下方控制权重数值)然后开启Tilde diffusion和Tiled VAE,分辨率升级3倍。开始跑图。 总结 Multi Diffusion + Tiled VAE +ControlNetTile模型是一种强大的高分辨率放大技巧,可以在低显存的情况下实现AI绘画超高清6K分辨率体验。通过合理配置参数,可以获得更好的效果。https://www.yizz.cn/3028.html
10.AI写作AI绘画AI视频AI论文AI大模型各种AI工具秘塔AI AI搜索,没有广告,直达结果 crushon.ai 提供无限对话和真实情感交流的应用程序 Candy.ai 提供沉浸式人工智能伴侣体验的平台 civitai 一个专注于 AI 艺术创作资源分享和发现的平台 ChatGPT OpenAI旗下对话AI工具 ChatGPT-4 OpenAi旗下最新的GPT-4模型 ...https://www.ai257.com/
11.带你玩转AI绘画,超详细AI绘画教程文生图/图生图功能则是用户能够将自己的需求传达给设计师的方式。文生图功能是通过语言方式将用户的想法传达给设计师,而图生图功能则是用户通过图片方式,将自己想要的效果向设计师描述。这些功能的实现,让用户在进行AI绘画时具备更多的选择与自由度。 绘图模型对于生成图的质量有着极大的影响。不同的模型对于同一主题...http://m.huashi6.com/article/detail-15064.html
12.玩转AI导航AI大模型,AI应用嘲大全,AI工具数字人人工...玩转AI 导航,集AI工具网址、资源、资讯、大模型于一体的导航网站,提供大量AI实战场景案例!https://www.heniwan.com/
13.5万字AI绘画SDsdxlcomfyuiAnimatediff换脸stable...5万字 AI绘画 SD sdxl comfyui Animatediff 换脸 stable diffusion Midjourney 官方GPT文档 AIGC百科全书资料收集,?【选题思路】随着深度学习和计算机视觉的进步,AI绘画逐渐成为了可能。通过大量的数据训练和复杂的算法模型,AI可以学习艺术家的绘画风格,并生成以https://blog.51cto.com/u_16188843/10228218
14.AI绘画何以突飞猛进?从历史到技术突破,一文读懂火爆的AI绘画...在今天看起来, 这个模型的训练效率和输出结果都不值一提. 但对于当时的AI研究领域, 这是一次具有突破意义的尝试, 正式开启了深度学习模型支持的AI绘画这个"全新"研究方向。 在这里我们稍微讲一点技术细节: 基于深度学习模型的AI绘画究竟有多麻烦呢, 为什么2012年已经很现代水平的大规模计算机集群耗时多天的训练只能得...https://36kr.com/p/1924367220374024
15.AI绘画工具大全NovelAI安装部署资料合集【AI绘画】【NovelAI】超简单一键在线部署+免科学上网+大模型非百度_哔哩哔哩_bilibili https://www.bilibili.com/video/BV19d4y1y7pe/ 其他在线使用 【AI绘画】拜托三连了,全b站最用心的ai绘画教程,简单上手!这可能是你看过最易于操作的人工智能绘画教学,学会送你6W征稿大奖_哔哩哔哩_bilibili ...https://baigebg.com/index.php/archives/1590/
16.保姆级教程:从0到1使用SDXL训练LoRA模型本文介绍的内容是节选自深入浅出完整解析Stable Diffusion XL(SDXL)核心基础知识文章中的从0到1使用Stable Diffusion XL训练LoRA模型章节,希望能让大家快速学会SDXL LoRA的训练与使用,让每个人有拥有属于自己的AI绘画模型! 关于作者 Rocky在校招期间拿到了北上广深杭等地的约10个算法offer,现在是一名算法研究员,目前...https://www.nowcoder.com/discuss/525479121246228480
17.ai绘画关键词推荐大全ai绘画关键词推荐分享ai绘画关键词推荐大全有很多可以帮助用户们创作更好的ai绘画,ai绘画工具是基于人工智能技术的绘画应用程序,它可以辅助用户进行绘画和图形设计工作。与传统的绘画软件不同,ai绘画工具通过深度学习和神经网络模型,能够自动学习图片特征和风格,并自动进行图像绘制或图片编辑,使操作更加简单高效。下面就给用户们提供ai绘画关键...https://m.dadighost.com/help/58236.html