文生图功能的核心是对于创意内容的描述,需要用简明词语组合对所展示的创意进行描述,WHEE能够同时支持中文与英文提示词,并且能够通过增加括号的形式增加括号内提示词权重。
1.真实人物生成:
内容描述:女生,真人感,如白色大理石般有光泽的肌肤,法式冠编发,头发飘过,18岁,微笑,扬起的眉毛,自信,明亮的瞳孔,清晰的面部特征,背景为咖啡馆,衣着简单,8k,明暗对比。
生成图片满足提示词描述,具有真实感,画面构图及光影自然,能够刻画人物细节,根据人物整体特征,搭配首饰等成分,无明显AI生图痕迹。
2.卡通人物生成:
内容描述:卡通风格,国风国潮,男孩,娇小,水蓝色头发,富有表现力的头发,疑惑沉思表情,全身,运动服,带有饰物的帽子,夸张的动作,场景感
生成图片基本满足关键词要求,能够刻画出卡通人物细致的表情,画面和谐,色调统一,立体感十足。
1.真实场景生成:
内容描述:真实感,雄伟的城堡,晴朗的天空,复杂的建筑结构,广角,残破感,渺无人烟,细节,获奖摄影作品
生成图片满足关键词要求,无明显不符合物理学的特征,光影自然,具有一定真实感。
2.诗句场景生成:
内容描述:云销雨霁,彩彻区明。落霞与孤鹜齐飞,秋水共长天一色。
WHEE能够对诗句画面进行理解并生成内容相吻合的图片,且基本为写实画面。
3.游戏场景生成
内容描述:3D游戏原画,光学,低视角,星空,明亮的月亮,乡间田野,云彩,成熟的麦子,寂静,32k
生成图片风格符合游戏画质感,且包含所有提示词元素,能够增强画质体验感。
4.科幻场景生成
内容描述:未来感,科幻城市,人来人往,色彩绚丽,虚幻引擎,复杂场景,空中车辆光线追踪,16k质感,俯视图,写实风格,CG渲染
生成图片基本满足提示词要求,具有丰富想象力。
5.动态场景生成
内容描述:真实感,大型犬与人游戏,动态感,草地,远景
生成图片具有动态感,满足提示词要求。
图生图功能为模型+创意描述形式,需要上传原图,奠定整体风格基调,再根据所添加提示词,对原有图片进行修改,如下所示,其中左图为原图,添加提示词:运动服,蓝天,重绘幅度为80%。
重绘图片基本满足提示词要求,并且没有破坏原有构图,非直接创作,且新生成图片整体画风和谐,具体细节会根据画面进行改动,但人的五官及影子不真实,可能存在识别较小特征困难的问题。
WHEE默认采样器为Euler采样器,测试将采样器更换为DPM2MKarras,该采样器相较于Euler兼顾生成耗时、重现性、图片质量,同时更适合动漫人物。其中左图为原图,右图使用DPM2MKarras采样器。
画面控制可以在改变风格的基础上增加与参考图的相似型,例如动作(姿态检测)、颜色(色彩)、环境背景(边缘、深度、线条检测)等。控制模型可以叠加搭配使用,但是叠加越多耗时越久,建议尽量控制在1个控制模型内进行调整。如下所示,其中左图为原图,中间为参考图,使用模型为姿态检测,可以发现原图小男孩模仿了参考图人物双臂环抱的动作并改变人物朝向。
英文内容描述:
Cartoonstyle,nationalstyle,boy,petite,aquabluehair,expressivehair,confusedcontemplativeexpression,fullbody,tracksuit,hatwithaccessories,exaggeratedaction,scenesense
风格模型功能能够将图片一键转换为设定模型,如下所示,其中左图为原图,设定模型风格为线条图形,右图为生成图。WHEE还支持用户设定自己的风格模型,即风格模型训练模块,通过用户提供的系列图片风格,生成专属模型,且可以进行运用。
WHEE内置风格模型展示
WHEE支持去除生成图中用户不希望展示的内容,如下所示,左图为原图,右图设置不希望呈现内容为黄色元素。
由于用户面对AI创作的首要问题是不会写提示词,WHEE根据用户使用场景内置了针对人物、服饰、背景色调、光照等描述词汇,使用户使用文生图更加方便快捷。