运用SD细化工具进行高效工作流(一)卡昂卡昂

注意1:本文中出现的AI项目案例,均为个人实验结果,非官方出品。

先说观点:一个拼审美的时代即将到来,对脑洞创作者来说,AI会增加他们的实现方式与效率。

(1)我认为AIGC的未来应用会分为工作流(专业级)与壁纸流(大众级),对设计师来说,如果没有足够的审美和设计功底来驾驭AI,那它只是一个壁纸连连看生成器。

(2)AI未来应该会细分为很多方向,我个人实验和学习的为Ai可控流,以StableDiffusion为主要深耕方向,我认为只有稳定可控,可预见效果的Ai才能真正的不再局限,加入工作流之中。

(3)对参数和数据敏感的设计师会更容易上手。也就是除了美术功底,审美,工作方法论经验等传统设计师要求外,或许未来会增加数据敏感度这一要求。也就是个人不认为Ai会降低行业门槛,反之,对于未来职业设计师的要求会更高。

(4)人工与智能的合作关系:因为SD(StableDiffusion)的开源属性,所以我个人认为它可能会是未来设计师应用的主流。即在商业流程中会演变为:前期草图提案给甲方确认(人工)-中期Ai细化生成(智能)-后期修改和应用排版等(人工)。使Ai成为帮助设计师不受风格与技能的限制,提高工作效率的良性工具。

我们目前设计师主流应用的AI软件为MJ(Midjourney)与SD(StableDiffusion)我个人认为它们主要的区别在于这四点

(1)应用方向:MJ出图更概念性/SD更可控(可控也就意味着有可能没控住,造成画面崩盘,参考第三点的数据,而MJ无论怎么出图,都一定是美的,好看的,从视觉上合格的,只是因为它的不可控,这种美很多时候无法合适的应用在工作之中)

(2)经济成本:MJ收费(10-60刀每月)/SD免费

(3)出图质量:MJ60-90分/SD10-99分

以上的区别和对比,并不是为了“踩一捧一”,探讨软件的优劣性,而是了解不同软件的特性后,在合适的场景去选择合适的应用。软件只是工具,不要局限,结合使用不同的工具实现1+1大于2的目的。

人们的生活中需要美学,它影响着人们的方方面面,从产品,服饰,游戏,科技,电影等,一个社会的美学展现也代表了当代社会文化的映射。美不局限于一种符号,创作美的方式也将不再局限与某个软件,我相信AI会带来更多机遇和可能。

由于平台,软件,应用方向的不同,我认为AIGC会催生出很多不同的流派,在大多时候,设计师只需要深耕其中适合自己行业应用场景的某几类就能得到不错的提升。以下我举几个能实际对工作流产生意义的示例。

1.游戏素材类:用简单的线稿来生成精致的3D游戏人物素材(效率提升,质感提升)

2.上色细化类:用controlnet工具使黑白线稿一键多方案上色细化(效率提升,方案提升)

3人物模特类:用人物模型搭配lora生成免费模特素材(效率提升,成本降低)

4.3D转化类:用平面插画生成结果可控的3D效果图(效率提升,技能提升)

5.画风转换类:用个人风格的底图生成适合不同项目风格的需求效果(效率提升,技能提升)

6.其他:还有很多可开发的工作流方向,他们的结果基本于两个方向:提高效率和实现技能。

对于AI的工作流应用需要用实验来验证,靠【想象】,【以为】,很容易碰壁。但只要某项类别的流程跑通后,它的效率有望是传统工作流的10-100倍。我个人认为,AI使我可以不再局限于风格,不再局限于技能,即思维创意,美术功底,审美和工作流经验会决定产出的上线。把细化交给AI,让设计师回归“设计”。

以下是我个人跑通的一些实验作品

这是一张用SD图生图进行3D转化类的工作流实验作品,左边是我之前为哔哩哔哩电竞IP形象所设计的延展海报。它的完成度是一个勾完线铺了底色的一个扁平细节状态,我称这个完成进度为【概念图】。右边是用概念图生成的3D效果图。

1.我认为SD软件与概念图是一个互相影响的关系,就像正负极磁铁一样,你调整软件操作就会影响出图效果,同样调整概念图也会在软件内收到反馈。但是大部分教程都在教授软件的知识,忽略概念图的影响。因为在软件界面里,有着繁杂的操作按钮,你点击它们就会给你反馈,这很好具象化。但对于概念图,却无从下手。其实我们可以通过几个注意点来用概念图控制出图效果。

概念图与SD生成的3D图

概念图的元素设计需要有逻辑性:我们把世界分为三个层级【我们的世界-AI的世界-模型的世界】,在设计概念图和写tag时,我们需要去理解这三个世界。

(1)我们的世界:这里包括一切。我们所能看到想到的一切内容,但是AI的内容库里不一定有。举个例子:一个外形是正方形的足球。或许这是某种独特的设计,但是SD不会把一个正方形联想到足球(除非打了特定的lora)

(2)AI的世界:SDAI能够识别出的tag和AI所存储的图像库。(可以在danboorutags中对照词条)

(3)模型的世界:模型作者在训练模型时所提供的素材库,当你的概念图和素材库的内容类别对应,就很容易出效果。同时,当你的概念图里的某些部分(例如耳机)在A模型里识别效果不好,就可以换B模型来重点识别此内容,如果效果提升即说明B模型中拥有大量优质的耳机类素材库(其他内容同理)

因此,概念图的设计需要摒弃“我世界”的思维。去理解AI世界并且针对我们要用的AI模型来设计画面内容,这样的效率最快,质量最好。

同时,我们也注意到模型和lora的重要性。如果拥有针对工作项目去训练特制的AI模型和lora的能力,将大大提升“应用范围”。

3.【人工】与【智能】的合作关系

下图我用SD图生图模式做的国风类生成实验,用P2的扁平线稿生成P1的细化效果。解决了两个问题:效率和技能。效率提升或许是百分之九十,同时,因为我对写实类人物插画并不擅长,这对我来说也是一次“技能提升”。

1.我认为这次实验不止验证效率和技能的提升,还有一个或许被大多数人忽略,但是对工作流来说至关重要的点:【人设还原】,我们可以看到P1与P2右边的人设图还原度是比较高的,这验证了sd图生图的结果是可预估,可控的。

我个人的实验最大目的是追求AI的可控性,也就是:画面中所有的细节都可调整-可控制-可预估。

看到这里或许有的同学会说上面用概念图控制Stablediffusion图生图的实验里“概念图太复杂”,门槛太高,那就来点“简单”的。

2.在这个过程中,SD和c4d,blender一样,起到的是“技能和软件”的作用,而结果是取决于使用它的人。设计师的审美,脑洞,产品理解,品牌思维等等。这些靠项目经验积累来的知识,依然是稀缺品。无论你用AI还是用别的,最终的产出都是为了符合这些定位。这也是我认为AI不能取代设计师的原因,如果你有这个顾虑,或许在目前的工作定位上,过于“工具化”了。这是一个值得思考的问题。

3.AI会降低大众级,壁纸流的创作门槛,但综上所述,我个人不认为Ai会降低行业门槛,而是对未来“职业设计师”的要求会更高。就像《人人都是产品经理》这句话是绝对正确的,但是产品经理却是很高门槛的一个职业。

4.简单讲解下过程:我把决定结果的要素分为【稳定】和【细节】两个数值。这个数值并不存在于软件界面中,而是你对生成图片的逻辑判断,把每一次图生图根据画面在大脑中数值化。其中,在概念稿时,稳定值为1,细节值为0。AI生成所产生的效果对稳定值产生负【-】影响,对细节值产生正【+】影响。例如,在AI生成之前,我的概念稿数值为【稳定1,细节0】。我希望的最终结果是【稳定1,细节1】。那么在一次AI【改变0.2】批量生成后,产生的图为【稳定0.8,细节0.2】,然后我选用其中满意的一张图对它进行修改,使这张图变为【稳定1,细节0.2】,然后用修改后的图再用AI【改变0.3】批量生成,产生的图为【稳定0.7,细节0.5】,再重复上述的过程,直到最后的图为【稳定1,细节1】,最后在后期调色,修饰,排版等成为完整的工作流。

5.用铺水彩的方式

接上一条,一个细节,质感都符合要求转换图的产出,大概需要一百次以上的循环调整。这就像在画水彩画时,一朵精致,漂亮的牡丹,从一抹淡淡的红开始。所以图生图重绘幅度要根据你每一笔的「重量」来调整。初始不建议太高。

是否我只能控制自己画风和内容的生成效果?这个案例为验证SdAI图生图转换结果不受概念图画风限制的对照组实验。

2.拥有一台配置高的电脑:很多人有个误解,就是Ai对电脑配置要求不高,这是错误的。配置主要体现在两个方面:

显存:显存决定了你出图的精度「分辨率上限」

显卡性能:性能决定你出图的速度「好性能两三小时的产出差性能可能要两三天」

以下是显卡AI跑图性能性价比表/提供制表人:albedo

注意:因概念稿原图是我21年时为blg设计的队员形象,目前队员已离队。本次Ai转换为个人作品实验,非官方版本。

本次实验解决了一些问题

1-还原人物设定中预想的布料与塑胶质感

●p1:针织毛衣,皮裤,皮带,玩具狗

●p3:光泽卫衣(皮质),卫裤(棉质),背包(皮质),眼镜(塑料)

经验:AI出图有高随机性,要使sd做出指定质感的内容,需要从四个方向来把控,「多模型转换-精准识别TAg-参数调控-贴图指向辅助」

2.Q版人物的识别

符合工作流应用的IP形象,虽然在细节上需精致,但不能写实。我们并不想看到“大头娃娃”。这就需要结合lora模型来生成“卡通效果”这里用到了作者mr木人又制作的「blindbox」lora。

3-分辨率的影响

如果你的参数和tag等都没问题,但出图很崩,试试调节分辨率!在一些模型中,适合较小的分辨率生成。而有些模型,要很高的分辨率才能发挥其效果,这可能关乎于作者在训练模型时所用源素材的尺寸。例如在本次制作中,lora模型对1200以上的分辨率产出图影响变弱,所以第一次生成时我调低尺寸,先生成卡通效果,第二次生成时我调高尺寸,更换模型,深化卡通效果的细节。这个过程很考验对参数,数据,设计的逻辑性。

4-贴图指向辅助

如果你在SD图生图中,使用关键词描述物体质感,但生成效果不理想,或许可以试试【贴图指向辅助】的方法

这和在3D中的工作逻辑有些类似,只是用概念图操作会更直观。举例:我想要左边人物的背带是皮革质感,可以找到相应的材质贴图,填入背带选区,这等于给了AI一个更具象的tag提示词,然后再用AI下一步“融合”,它会帮你融入到整个画面中。

你是否会有这样的困扰?就是打开SD后看着数不清的按钮,好像在看天书,一头乱麻,无从下手。

我建议先从以下几个关键词入手,根据优先级来反复跑图,试验出各参数对出图的效果权重

【-AI模型-Tag标签以及功能性了解-电脑配置(显卡)-分辨率设置-采样器效果-重绘幅度-提示词系数-controlnet-lora-局部重绘-seed-WD1.4标签器】

对于AI的工作流应用需要用实验来验证,靠【想象】,【以为】,很容易碰壁。大体实验流程为:概念稿-参数对照-选对模型-Ai生成-转模型互融-出图后期合成-再次AI反推-调试等。

以下是在实验中,关于SD的常用功能介绍

1.定义画面风格(画风)

2.模型会限制画面里出现的内容

3.我们可以用多个模型来推导内容(例如在模型A里生成百分之三十,模型b里生成百分之七十,最后再合成)

4.可以使用VAE来增强模型效果(材质增强,可以理解为给游戏加光追)

5.可以使用合适的lora来补足模型的缺陷(内容增加,例如特定的脸/服饰/物品/风格等,可以理解为给游戏加mod)

5.模型的下载:civitai

1.标准三段术式:前缀+主体+背景(+后缀)

前缀-(基本前缀+画风词+整体效果器)基本前缀为强调图片质量的词汇/用于凸显图片的画风/图像整体光效的词汇。

主体-(画面中的主体部分)主体为图画想要凸显的主体,可以是人物,建筑,景物等,对于角色来说,通常包括了面部,头发,身体,衣着,姿态等描写。

背景-对周围环境的描写。后缀通常和效果器类似,用于对场景进行丰富。

2.权重控制

最基础的权重控制为控制prompt在咒语中的位置。越靠前的词汇越受到重视。权重控制可以通过对prompt加括号进行()或{}为加强权重,[]为减弱权重,例如(1girl:1.5)括号后对添加":1.5"是对词条直接赋予权重,数字即为权重大小。数字越大权重越大,默认1,通常为0-2之间。()为对其中内容权重乘以1.1,[]为对其中内容除以1.1

权重溢出:权重溢出现象。这一现象的表现为权重设置过大,导致原本的修饰词挣脱了词条的束缚,溢出到了其他元素中,导致画面崩坏。

3.tag词库准确性

我们之前提到过AI世界的概念,核实Tag准确性可以对照danbooru看,有时候自己通过翻译直接写的词汇可能无法被识别。

4.限制还是释放

tag越精细,对画面的限制性越大,AI自由发挥的空间越小,精简tag(尤其负面)可以释放AI的想象力。

5.tag反推

CLIP反推提示词-侧重于对图像的描述,生成句子。

DeepBooru反推提示词-侧重于对图像内容的识别,生成tag。

但我个人更喜欢用第三种:wd1.4标签器,我认为它对图片Tag的识别更精准,并且可以通过阈值来控制生成Tag的长短,还可以通过更换反推模型来改变提示词的变量与优先级(因对显存占用很大,用完记得点击卸载反推模型)。

1.类似游戏里的mod,目的是更精准的控制效果

2.注意LoRA强度对画面效果的影响(在lora里同样会有权重溢出现象,通常lora的权重不会超过1,也可以在C站去找到lora模型作者的推荐数值)

用SD把概念稿生成可控3D效果过程图

根据我们要使用的模型风格,我们需要先在概念图上有所调整,使它符合AI和模型内容的生成逻辑

提示:在本次案例中,我使用的模型为【chilloutmix和revAnimated】,VAE为【vae-ft-mse-840000-ema-pruned】

在前期图生图生成过程中,有过三次概念图调整。

1.概念图1(原图):SD图生图会根据图案/结构线分割来识别物体,清晰的线稿与底色会直接影响效果。概念图1满足【线稿清晰,结构合理】的条件,至于需不需要铺色,这个要看你使用文生图+controlnet还是图生图模式来制作,在图生图模式,推荐铺一个底色,这也方便你控制生成图的颜色。可改变概念图颜色来控制画面颜色,要比在SD软件中通过关键词调整快得多。

2.概念图2:在概念图1生成中,SD对小电视底部星球的识别困难,因此调整为概念图2的效果,增加服装阴影,增加蓝色背景,扩展底部星球和填色,在关键词中添加【universe,Astral】等对背景的描述引导。再次生成后,小电视立体感和空间感提升,但星球效果依旧不明显。

3.概念图3:继续对概念图2优化修改为概念图3,调整内容1.修改背景环境的深度,使主体更突出2.在花瓣中搜索“月球素材”,进行【贴图指向辅助】,在概念图星球区域内贴上月球质感材质,对AI进行更具象的引导。3.对小电视头部颜色进行调整,修改为渐变效果,这种颜色过渡会指引AI对画面的灯光效果(效果可参照完成图)。

把概念图放入WD1.4标签器中进行图片tag反推生成【主体关键词】

1.在WD1.4界面把图片上传后,选择反推模型wd14-convnext-v2(个人推荐),阈值调整为0.2(阈值越低生成词条越多)。

2.然后我们复制tag到翻译软件中,进行核查筛选(英语很好可略过这一步),删除不符合画面需求的tag,添加补充内容的关键词。

3..按照上面所述的Tag标准三段术式:前缀+主体+背景(+后缀)来重新排列和组成完整的tag术语。

这里我添加的前缀(前缀为强调图片质量的词汇/用于凸显图片的画风/图像整体光效的词汇)是:complex3drender,150mm,beautifulstudiosoftlight,rimlightvibrantdetails,luxuriouscyberpunkhyoerrealistic,anatomical,facialmuscles,cableelectricwiresmicrochipelegant,beautifulbackground,octanerender,H.R.Gigerstyle,8kbestquality,masterpiece,illustration,anextremelvdelicateandbeautifulextremelydetailedCG.unitywallpaper(realistic,photo-realistic:137)Amazing,finelvdetailmasterpiece,bestquality,officlalart,extremelydetailedCGunit8kwallpaper,absurdres,incrediblyabsurdres

这里我添加的负面提示词是(画面中不希望出现的内容):paintings,sketches,(worstquality:2),(lowquality:2),(normalquality:2),lowres,normalquality,((monochrome)).((grayscale)),skinspots,acnes,skinblemishes,agespot,(outdoor:1.6),glans

注意:关键词在图生图生成过程中,会根据画面的和控制条件改变而修改,不要习惯于把一段术语用到“通关”,多去培养对词条权重和数据敏感度的感知能力。

下一步我们通过调整几个图生图模式常用参数来控制画面效果。

1.缩放模式:这里推荐【比例裁剪后缩放】

2.迭代步数:可以理解为画面精细度数值,但对显存占用较大,因在30步之后的提升不明显,所以推荐数值为30

3.采样方法:推荐常用Eulera模式,它的效率更快,深入度更高。但也因此画面崩坏率更大,尤其是在重绘幅度过高的情况下。所以,还可以使用DPM系列,它在重复幅度大的情况下,对画面的稳定性控制更好,缺点是细节深入度低,所以在图生图重绘时,我可以根据我的需求选择每一步适合的采样模式。

4.重绘尺寸:如果你的参数和tag等都没问题,但出图很崩,试试调节分辨率!在一些模型中,适合较小的分辨率生成。而有些模型,要很高的分辨率才能发挥其效果,这可能关乎于作者在训练模型时所用源素材的尺寸。

5.提示词引导系数:图像与你的提示的匹配程度。增加这个值将导致图像更接近你的提示(根据模型),但它也在一定程度上降低了图像质量。可以用更多的采样步骤来抵消。

6.重绘幅度:重绘幅度就像下笔的【重量】一样。这就像在画水彩画时,一朵精致,漂亮的牡丹,从一抹淡淡的红开始。所以图生图重绘幅度要根据你每一笔的「重量」来调整。初始不建议太高。可以在0.1-0.3之间。然后多次图生图叠加,0.1+0.2+0.1....

有些模型结构好些有些模型细节好,例如SD图生图中,先用模型a推百分之三十,再用模型b,不断反推,实验。同时过程图的调整也很重要

不同模型生成的图,有着不同的优点,比如,在模型A中,耳机的识别效果更好,而模型B中,宇航服的效果更好,这取决于开发者在训练不同的模型时所提供的素材库类型。我们可以把他们两种模型生成的过程图,在ps中用蒙版等工具合成为一张图,保留优点,修改不足,然后再把修改好的图放到SD图生图中再跑一遍,继续生图,AI会把质感融合的更好。

在这一步,希望大家可以重读上面【稳定】和【细节】的逻辑关系,在修改过程图然后重新导入AI生成的环节里,需要把每一次图生图根据画面在大脑中数值化,并且通过修改过程图来控制数值。

最后,我们把最终满意的图片输出再PS里后期调色,修饰细节,排版等成为完整的工作流。

整个图生图实验流程就是参数,模型,修改,生成中不断的循环和调整,直到我对画面满意为止。如上所说,在十分钟左右时其实就已经达到百分之九十的效果,如果看不出画面问题,对结果满意,那么就会停留在这一阶段。其实用Ai和做设计一样,难得是那百分之十的突破。

THE END
1.AI各个工具的作用与用法AI各个工具的作用与用法 # 各个工具的作用与用法 ## 引言 人工智能()技术已经深入到咱们生活的方方面面其应用领域之广工具之丰富令人叹为观止。本文旨在介绍工具的分类、作用与用法帮助读者对这些工具有一个全面、深入的理解。 ## 工具的分类 工具可按照其功能、技术和应用场景实行分类。下面我们将分别从这三个...http://www.slrbs.com/jrzg/aitong/42878.html
2.免费用的AI工具CodeGeeX,开发效率翻倍!!!官网链接:CodeGeeX - 免费的AI编程助手 - CodeGeeX 话说国内 AI 工具那么多,为什么选择用它来演示呢?原因很简单,4 个优势:完全免费、速度更快、生态活跃、而且最关键的是能够直接在主流 IDE 中作为插件使用。VS Code、JetBrains 都支持~不知道大家最常用的 IDE 是哪些?我这里选择用主流的轻量编辑器 ...https://open.alipay.com/portal/forum/post/155805961
1.你用过最好用的AI工具有哪些?AI工具的最佳实践与警示 在这个快速发展的数字时代,AI工具如同我们生活中的新鲜空气,给予我们无限的可能性。但与此同时,借助这些工具的方式和实践,无疑会影响它们给我们带来的体验。怎样才能在享受AI带来的便利的同时,不落入过度宣传的陷阱呢? AI工具的类型与应用 ...https://blog.csdn.net/weixin_44626085/article/details/143896918
2.目前最好用的ai目前最好用的ai写作软件五、目前主流的ai工具? 目前主流的AI工具有以下几类: 1. 机器学习平台:如TensorFlow,PyTorch,Keras,Caffe等。这些平台提供了各种机器学习算法、深度学习模型以及数据预处理等功能,为数据科学家和开发人员提供了构建AI程序的基础工具。 2. AI开发框架:如OpenAI Gym, RoboFlow, Unity ML-Agents Toolkit等。这些框架可以...https://tool.a5.cn/article/show/79898.html
3.经济之声:应对新型冠状病毒疫情建议(第一期)数字经济、AI赋能、社区消费等成关键词,疫情下消费市场呈现新趋势 作者:宋瑛、叶蕾、张弛 大数据赋能健康医疗行业,助力临床决策、药物研发和疫情监控 作者:王辉、郭昊 力量下沉,充分发挥社区在疫情防控和中小企业复工中的堡垒作用 作者:刘魏 活用信息技术,会展业才能破解严峻疫情防控形势下的困局 ...https://ets2014.ctbu.edu.cn/info/1051/8565.htm
4.十大AIGC软件有哪些AI图片生成工具有哪些2024年AIGC十大品牌最新发布,AIGC排行榜前十名品牌有CHATGPT、Midjourney、AdobeFirefly、文心一言、通义千问、豆包、Stable Diffusion、DALL·E 3、Notion AI、Runway。AIGC10大品牌排行榜由品牌研究部门收集整理大数据分析研究得出,帮助你了解aigc的软件有哪些。https://www.maigoo.com/maigoo/10348aigc_index.html
5.每日热点0517“研究揭示了IL-8在构筑脑胶质瘤免疫抑制微环境中的作用及作为免疫治疗靶点的潜在应用价值,为脑胶质瘤的免疫治疗提供了新的见解,有望为脑胶质瘤患者提供新的治疗策略。”刘浩飞说。 摘引网址:http://health.people.com.cn/n1/2023/0517/c14739-32688070.html ...https://www.sccdc.cn/Article/View?id=30984
6.专业ai绘画软件有哪些目前专业AI绘图上的主流设计工具,主要有两个:StableDiffusion和Midjourney。其他还有DiscoDiffusion、BlenderAl、DALLE等。1、StableDiffusionStableDiffusion简称https://wap.hxsd.com/wenda/67815/
7.2023年重大网络安全政策法规盘点工信部组织第三方检测机构对群众关注的生活服务类移动互联网应用程序(APP)及第三方软件开发工具包(SDK)进行检查。发现46款APP(SDK)存在侵害用户权益行为,予以通报。 中央网信办召开全国网络法治工作会议 2月13日,中央网信办在浙江杭州召开全国网络法治工作会议,总结回顾新时代十年网络法治建设的成效经验,分析网络法治工作...https://www.eet-china.com/mp/a273064.html
8.推荐2024年个人经常使用3大类的AI工具,非常实用,值得上手收藏...其他功能,像AI文档解析、AI写作、AI绘画,包括和豆包类似的智能体机器人等功能一应俱全,也是经常会使用到的一款国产AI工具助手。 常用的综合性AI工具就介绍到这里了,毕竟AI工具现在没有几万个也有几百个,常用的就青睐的也就那几个,哪些好用就一直用。 https://cloud.tencent.com/developer/article/2419483