“感知CG·感触创意·感受艺术·感悟心灵”
中国极具影响力CG领域自媒体
听说SiggraphAsia大会上又爆出了新科技,仅用一张照片就能实时生成3D数字头像模型。真的可以吗?今天CG世界带着小伙伴们来了解一番。
▲点击视频观看Headshot功能前瞻
借助智能纹理混合和头部网格创建的功能,新工具可生成带有头发和衣服的面部表情,同步声音口型,带有面部表情和全身动画。操作界面使用起来非常方面,极大地提高了艺术家对于电脑的控制感。系统还提供预览和高级建模工具,方便艺术家进行调整和修改。Headshot为用户提供了两种AI模式。一种是包含1000+种雕刻变形、图像映射和纹理重投影工具的ProMode(专业模式),适用于高级别制作、高分辨率纹理(4096x4096)处理和面部细化的工作;另一种是AutoMode(自动模式),可生成带有3D头发的低分辨率虚拟头部,整个过程是自动进行的。接下来为大家详细介绍一下两个模式各自的使用功能。
▲自动模式vs专业模式
ProMode(专业模式)
▲4k纹理、图像匹配、照片重投影、定制遮罩先来说ProMode,这种模式利用对输入Jpeg图像进行机器学习的方式来创建面部,对高分辨率的面部细节有着相当全面的把控。Reallusion的CEO解释说,面部细节的微调过程依赖于经过系统设计的500-600个脸部变形,用户可以对每一个细节进行微调。从任何照片生成相似度极高的数字人物GENERATEDIGITALHUMANSWITHLIKENESSFROMANYPHOTO
即使是刚开始使用Headshot也能通过照片获得很高相似度的效果,再利用雕刻变形工具进行调整和精炼,得到的数字头像带有完全绑定效果,可利用iClone制作动画,也可以导出到UE4等实施引擎中。高分辨率纹理&变形选项HIGH-RESTEXTURE&SHAPINGOPTIONS
用户可以改变层的不透明度来验证照片和网格之间是否很好的对齐在一起,用到的原理非常简单,用户通过覆盖层来检查AI结果,并使用智能UI对新模型进行调整。Headshot有一组专门为匹配照片而创建的变形效果,不需要大幅度的手动调节,仅通过变形调节就可以清晰准确的实现。例如,可以在对周围面部产生最小影响的状态下,对眼睑进行细调,动态效果也很真实。重投影REPROJECTION用于因纹理生成、镜头校正和面部形变变化而产生的纹理和网格之间的错位问题,将“UVReprojection”应用到已经对齐的烘焙纹理上。迭代头部、耳朵、眼睛、鼻子和嘴唇的渐进式照片重投影工作流程,从而获得完美的图像匹配效果。遮罩MASKINGHeadshot提供了“面部/眼睑遮罩”选项,来处理部分被头发遮盖的地方,或者是不需要阴影效果的部位,也可以帮助修复在闭眼状态的眼睑纹理。用户可以根据充分利用原始照片自定义绘制遮罩,或手动修复缺失的纹理。
AutoMode(自动模式)
▲1k纹理、全自动、创建3D头发、智能纹理混合经过特殊训练的AutoMode也能根据照片生成3D头部,不但可以设计实时3D头部模型,还可以分离头发网格,智能过程自动将头发从照片图像中分离出来,并提供自然的侧面纹理。
由Headshot生成的3D头发与CharacterCreator中的头发格式(.ccHair)完全兼容,用户可创建自己的HairLibrary,或是将其应用到其他CC角色上。
这种模式存在面部阴影,适用于电影中等分辨率的人群和3D游戏中的NPC角色。但它本身也存在一个缺点,分辨率没有ProMode高,根源差在了原始训练数据的分辨率上。接下来咱们看看Headshot的“通用设计”和“变形系统”。
CommonDesign(通用设计)
通用设计包括两部分,“身形选项”和“纹理选项”。
身形选项SHAPEOPTIONSHeadshot为用户提供了男性、女性和中性的不同选择方式,选择不同身形来创建角色。诶,好像也跑不出什么其他的情况了哈。另外系统的AI引擎还可以检测人脸,创建自然匹配脸型的3D头部,提供典型白种人、亚洲人和非洲人的侧脸,每个面部文件都会根据源图像的属性进行细微改变。
纹理选项TEXTUREOPTIONS为了满足用户创建不同年龄、性别、头发和胡须等虚拟人物样貌的要求,Headshot提供了很多皮肤预设和遮罩选项。
“Scalp”(头皮纹理)适用于男士寸头或是光头的样貌,用户可以编辑纹理来实现自定义外观效果。
“Beard”(胡须皮肤图案)有不用长度和颜色的样式,适合于不同年龄的人物。
“EyeColor”(眼睛颜色)包括通用眼睛颜色的选项,也可以访问Gallery库,或是使用“DigitalHumanEyeShader”(数字人物眼部着色器)进行自定义编辑。
MorphSystem(变形系统)
如果你不希望采用特殊变形滑块,而是直接修改头部模型,那也可以,Headshot提供了一种轻松的方法来调整角色面部轮廓和精修细节。
将鼠标停在图像的控制区域上,然后拖拽就能调整网格形状;基于HeadshotMorph1000+的写实人体变形范围,雕刻时选中的部分就会出现相应的变形滑块名称;可以基于角色视角自动转换正面和侧面,而且正向变形不会影响到侧面变形的深度值,反之亦然。Headshot的变形系统拥有6个层次的变形细节,从完整的头部/面部雕刻到个人特征,如头部轮廓、面部、眼睛、鼻子、嘴巴和耳朵,用户可以轻松快捷地在不同部位切换,快速而且有针对性的调整形状。此外还有三种可选择功能:“对称性”“显示控制区域”“缩放到控制区域”。