大模型应用于数字人

大模型会改变整个软件行业,其中具有代表性的产品之一是数字人,那么,什么是数字人呢?数字人涉及了哪些关键技术呢?大模型对数字人的发展带来哪些影响呢?

数字人目前还缺乏一个相对统一的定义,有人把人类的数字孪生体定义为数字人,有人把虚拟世界中具有人类行为的实体定义为数字人,有人将3D人体模型称为数字人,例如,韩国学界对数字人的定义是:用数字化技术,打造具有逼真人类长相、语言、动作姿态、身体特征的虚拟3D人体模型。市场调研机构IDC将数字人定义为“采用人工智能技术驱动生成的数字化的虚拟人物——具备人的外观、感知互动能力以及表达能力”。

一般地,人们把数字人称为数字人,是通过聚合科技创造的存在于虚拟世界,且具有类"人"特质的数字形象。它是元宇宙中自然人进行虚拟时空感知的主要载体,是实现人机融合交互的组成部分,也是元宇宙的经济增值板块。数字人与自然人、机器人共同组成了元宇宙的“三元”。

数字人能够感知不同环境,根据人的需求形成"化身"形象。人机交互将被赋予智能化、情感性和思想性特征,数字人将复制人类的知识、记忆、思维和情感,从而在社交系统、生产系统、经济系统上实现与自然人的虚实共生。

数字人的三大特征是虚拟化、拟人化和智能化。从技术上看,数字人指存在于非物理世界中,由计算机图形学、图形渲染、动作捕捉、深度学习、语音合成等计算机技术段创造,并具有多重人类特征(外貌特征、人类表演能力、人类交互能力等)的综合产物。

数字人,在技术上分为灵活的真人驱动型和基于深度学习的计算驱动型。

真人驱动型在动作灵活度、互动效果等方面有明显优势,一方面能够在影视内容的创作中减低生产成本,为影视行业降低门槛,推动影视级内容向消费级转化。另一方面则多用于虚拟偶像、重要直播中,帮助数字人完成大型直播、现场路演等互动性、碎片化活动。

其一般设计流程如下:

形象设计及建模:绘制原画,面部及3D建模

建模绑定:关键点绑定的数量及位置影响最终效果。

表演捕捉:捕捉在形体、表情、眼神、手势等方面的关键点变化。

驱动及渲染:根据制作实时驱动数字人表演,特定设置语音

生成内容,进行互动:进行直播,或录制其动作生成内容

计算驱动的数字人最终效果受到语音合成、NLP技术、语音识别等技术的共同影响。尽管在特定方向上,各感知类技术已有的商业化能力已足以支撑,然而,但要达成理想的综合效果,需要该公司在三个方面同时具有较强的综合能力。

设计形象:采集数据

形象建模,进行绑定:设计形象模型,进行关键点绑定。

训练各类驱动模型:利用深度学习,学习语音、形象、表情参数间的潜在映射关系。

内容制作:基于输入的语音预测唇动、表情等参数,利用GAN选出最最佳帧,将语音和每帧的数字人图片进行结合。

进行渲染,生成最终内容。

生成式AI的崛起,给数字人产业带来了根本性变化。

传统的数字人技术主要依靠预设参数和有限的模型训练,但大模型技术则为其提供了近乎无限的训练参数和自主生成能力,使数字人更为真实多样。大模型包含了数字人形象、动作、表情、口型、声音等要素,每个用户可以结合个人数据对数字人进行训练。

大模型对2D数字人的提效显著。AI的生成能力天然适配2D数字人。市面上出现了许多2D数字人定制工具,逻辑基本一致:只要你输入文案素材,就能生成数字人形象。

3D数字人的工作流比2D要复杂非常多,大模型能让数字人制作成本十倍、百倍地下降,还能让虚拟数字人生产周期,从动辄几个月,缩短到小时级别。数字人的制作成本,将从百万级降低到万元级别。

大模型不仅直接降低了3D数字人的制作难度,更为数字人注入了灵魂。过去3D建模依赖传统CG技术,动作捕捉需要采集真人大量数据,现在依托于视频大模型的数字人工具平台上,算法可以高效生成3D模型,处理面部细节也更加逼真,提升了面部表情以及唇形同步的质量。

更重要的是,大模型在很大程度上解决了数字人的自然语言理解能力,多模态大模型是数字人真正的灵魂。然而,创意边界,毋庸置疑将会依靠大模型的语料库、算力储备,以及其所迸发的涌现能力来提升,效果仁者见仁智者见智。

数字人的应用可分为服务型数字人和身份型数字人,替代真人服务中的虚拟主播和虚拟IP中的虚拟偶像是目前的市场热点。

目前,数字人产品大多应用于B端场景,例如帮助互联网商家实现全天候轮播的虚拟主播、办事大厅内自助办理业务的虚拟前台、自动处理诉求的虚拟客服等,B端消费者仍是市场的主要组成部分。

重构内容生产模式

提升数字内容生产效率和质量

助力品牌传播

转变品牌形象

拉近品牌和用户的关系

新型带货赋能电商

推动数字化转型

助力企业提质增效

数字人产品的C端应用场景包括上传照片后重现逝去亲友的虚拟亲友、服务于儿童教育的虚拟陪读、监管自媒体公众号的虚拟小编等。C端应用场景仍有较大挖掘潜力。

参与用户的生活

追求更真实、更理想的自我

缓解真人手语主持人稀缺问题

有效解决听障人士沟通问题

成为人们的助理、朋友甚至伴侣

IP的呈现是抽象化的品牌理念被具象化后的产物,承载了品牌希望消费者被唤起的感性共鸣,并以独特的特质将该品牌与其他品牌进行区分。企业品牌往往以IP形象进行传播,动态的IP形象更能传递亲切感,引发受众的共情,使品牌形象更加鲜活生动,例如若干年前的海尔兄弟。如今,品牌方开始推出人形IP,并从2D的动画展示进化为3D的立体呈现,追求更加拟人化的效果,以拉近和受众的距离。

但是,单向传播无法充分调动受众的参与感。品牌方推出加入智能语音交互的数字人IP,使之成为帮助用户处理具体事务的虚拟助手角色,或是陪伴角色。长时陪伴的IP使得用户产生更深层的情感,甚至形成“养成”体验,增强IP的定制感。数字人IP的身份可以是宠物、伴侣、子女、同学等,用户不仅能够见证虚拟IP被自己塑造而发生的改变,也能洞见自身在这一过程中的成长。

数字人同样存在技术瓶颈,也出现一些新的问题。

尤其是计算型数字人,受限于大批量、高质量的训练数据样本,实现泛化性仍然是当前存在的挑战。写实风格的数字人在越来越像人的同时,仍需突破“恐怖谷效应"。

情感传达是技术瓶颈。当前仍然主要运用动作捕捉技术,数字人的表情基准还是无法传达类似于眉毛的弯曲度,肌肉颤动等微表情细节,所以很难将中之人所表达的情感完全传达出来。在人与数字人的在交流过程中只能单纯的传达文字,而背后的情感语义和情绪则没有办法直接传达出来。另外,数字人缺少情感Al算法的应用,没有办法通过判断人说话的情感来转变回复进而改变情感倾向,实现更人性化的交互,基于多模态的大模型或许可以部分解决这一问题。

数字人所营造的新型人机关系,可能成为人类组织活动中强行嵌入的某种“异物”,人类组织对这类智能嵌入物是否有排异反应,目前还很难从个别的孤例中获取足够的数据,做出有效的判断。也就是说,当大量数字人,处于工作岗位、担当工作职责的时候,组织行为将会出现何种变化,尚待考察。

智能技术的核心算法,将技术与伦理问题紧密结合在一起。某种智能算法支撑下的数字人,在深度学习、大数据浸染之下,可能具备某种价值倾向、伦理倾向,甚至可能带有某种“邪恶”倾向。

隐私保护是不变的主题,制作有真人原型的数字人需要抓取大量信息,而大量地、非法地提供这些信息反映出漠视或忽略隐私保护的现象。隐私安全的权利一部分属于现实用户,另一部分属于产生了自我意识的数字人。利用深度合成技术可以实现人脸再现,但随着网络技术逐步发展以及对肖像权保护力度的不足,大量抓取网络视频、图像的深度合成问题成为一种法律隐患。

虚拟空间是制作数字人的底层结构,因此虚拟网络的管辖权就是客观规划数字人的基础。法律的管辖首先需要确定网络犯罪的所在地,而虚拟空间中的犯罪行为最初和最终发生在什么地方难以确定。

对应开发者而言,“避风港原则”是一种针对网络服务提供者的责任豁免原则,具体指网络服务提供者接到权利人的通知后,根据法律规定断开与侵权的作品、表演、录音录像制品的链接的,不承担赔偿责任。

数字人是未来人工智能大模型最重要的应用入口。通过大模型的赋能,数字人的产品发展首先要提升自主创新能力,有赖于数字资产的确权、自有技术运营、IP的持续迭代与进化。同时,需要打造全媒体的多模态传播体系和持续性事件营销体系,为数字人的传播内容的生产、呈现、自传播提供源泉,不断提升传播影响力。挖掘个性化传播内容,通过个性化吸引目标用户并保持用户粘性、提升忠诚度与口碑。另外,重视社会价值传播,赋予虚拟数字人社会服务属性,提升行业影响力和自身公信力。

如果觉得数字人过于复杂,不妨从一个语音机器人入手,临近双十一,推荐给大家一本本人参与的最新译作,可以作为语音机器人产品经理的案头手册,对于数字人的设计同样大有裨益。

THE END
1.它主义PETISM:引领宠物市场潮流,共创人宠和谐新篇章在宠物市场这片充满爱与希望的领域中,它主义PETISM正以创新的姿态,引领着宠物生活的潮流。作为同宠科技旗下的宠物连锁品牌,我们深知宠物在现代家庭中的重要地位,因此,我们致力于打造一个集健康、快乐、智能于一体的宠物服务平台,让宠物与主人共同享受更加美好的生活。 https://m.sohu.com/a/824157835_121892156
2.IP推荐以故宫博物馆为灵感的IP形象,国风设计助力文化自信!今天就带大家欣赏两组IP形象 以中国风设计 带领大众发现紫禁城独特的生活美学 饱格格花神系列 Design by:北京故宫文化发展有限公司 以故宫博物院藏品雍正十二月行乐图 和各种时节花鸟图册为灵感 让小格格在不同月份头戴各种花饰 展现不同时令,精巧灵动 爱吃爱睡又爱美的饱格格 ...https://weibo.com/ttarticle/p/show?id=2309404781317899551503
3.宠物猫卡通IP形象设计麦斯DESIGN宠物猫卡通IP形象设计,麦斯DESIGN,平面,IP形象,品牌ip,吉祥物,IP,IP形象设计,企业吉祥物,站酷网,中国设计师互动平台.本作品以可爱的猫猫为原型创作的可用于宠物领域的品牌IP形象! 猫的形象是肉肉的,胖乎乎的,给人敦厚的感觉。颜色大部分采用黄色,给人温暖亲切又不失活https://www.zcool.com.cn/work/ZNjE3MzQ5MjA=.html
4.星际萌宠xMooking极客号IP形象三维/C4D设计【星际萌宠 x Mooking】极客号IP形象 去年团队做了一套很特别的系列IP,终于有时间分享出来。这是一份元宇宙撸宠指南,每个角色都有专属宠物,优极客Yougico赋予了每个极客号成员鲜明的性格特征,年纪轻轻就猫狗双全。带着专属宠物,星际萌宠正式启航。 ——https://www.zhisheji.com/yuanchuang/1746004.html
5.哈士奇宠物狗IP卡通形象AMPLE原创作品哈士奇宠物狗IP卡通形象商业插画 | 上传时间:2024-04-18 22:550 为TA点赞动物可爱的宠物卡通狗 类似作品 z 爆竹声声Rona 0 z 财源滚滚Rona 0 z 教师节快乐Rona 0 AMPLE 其他地区 设计 IP属地: 江苏 + 关注 0.01° 40 登录并分享您的见解 暂无评论...https://ishijue.com/community/photo-details/0c248f83625f4af59208a9aa2d5ab077_d
6.IP形象设计全解实战班(第7期)视频教程培训吉祥物,3d第三章基础篇:IP设计思路与绘制 第1节IP形象设计基础理论与创作方法 观看回放 直播时间:2023.10.24 20:00-22:15 第2节主形象设计:需求分析与线稿绘制 观看回放 直播时间:2023.10.27 20:00-23:05 临摹课上案例或设计个人IP 大作业 2023.10.29 22:00截止 ...https://www.gogoup.com/course/GNjEx
7.[宠物变装]图片免费下载宠物变装素材宠物变装模板宠物变装卡通可爱猫咪IP形象插画变装设计-篮球 卡通可爱猫咪IP形象插画变装设计-医生 万圣节不给糖就捣蛋男孩海盗面具变装聚会 卡通可爱猫咪IP形象插画变装设计合集2 卡通可爱猫咪IP形象插画变装设计合集1 卡通可爱猫咪IP形象插画变装设计-博士 卡通可爱猫咪IP形象插画变装设计-奶茶 卡通可爱猫咪IP形象插画变装设计-忍者 ...https://m.58pic.com/tupian/chongwubianzhuang.html
8.依宝宠物食品品牌IP设计吉祥物设计作品公司「食品/饮品依宝宠物食品品牌IP设计」的作者是「有D design」设计师。特创易·GO设计网提供最新吉祥物设计案例图片欣赏,吉祥物设计作品效果图大全.由上万名认证设计公司/设计师每天更新。http://tcy.ink/tcase-116284.html
9.中国的差距在哪?全面点评日本的城市IP形象因为市鸟是白鸟,因此吉祥物也按照白鸟的样子设计,脖子上带着一串当地特产的蓝浆果项链,帽子是北极贝。 「我的点评」 这种设计思路和形象造型感,倒是国内的IP形象可以做的,而且经常做,就是在设计的细节上,相比起来还欠缺一点点细致和感染力。 埼玉县深谷市- fuka-chan ...https://www.niaogebiji.com/article-36371-1.html
1.6000字长文!超全面的互联网IP设计指南优设网近年来品牌 IP 形象几乎成了互联网企业的标配,比如有阿里动物园、京东狗、鹅厂,好像每个互联网品牌都要有一个吉祥物,那什么样的平台需要 IP 形象?需要怎么样的 IP 形象?IP 如何赋能品牌?IP 如何变现?是我们在设计 IP 的时候,经常面对的灵魂 4 连问,今天我们就来带大家一起揭开 IP 吉祥物的面纱。 https://www.uisdc.com/ip-design-guide
2.干货:48种企业IP化营销方法大全1.3 宠物/动物形象 因为企业往往希望IP形象很可爱,所以宠物/动物形象就大行其道。 但实际做出来,大部分希望萌的宠物/动物形象都做得不够萌,差强人意。 因为中国人对自己的理性化企业价值观普遍过于执着,常常既要求高度符合高大上价值观,又要很萌,所以就做不到。 https://www.36kr.com/p/793547264462599
3.宠物IP形象设计麦德氏宠物IP形象设计麦德氏宠物IP形象设计 市场洞察: 项目背景: 麦德氏为美国ALC宠物食品集团旗下的IN supplements营养品系列在中国的商标名称产品覆盖宠物美毛、肠胃呵护、关节健康、免疫力提升等多方面。 用户需求: 1.洛可可设计上体现了猫的高冷及狗狗的亲和,结合日常生活场景及节假日进行设计,使得整体形象具有故事性创新性。https://www.lkkdesign.com/anli/anlilook/id/118.htm
4....木兰有礼”文化创意设计大赛(第一阶段木兰形象城市IP设计)征集...1.作品应贴合历史、文学作品中的木兰形象,突出《木兰辞》中“归来见天子,天子坐明堂”的形象表达,体现北魏历史文化元素,在人物形象的服饰、容貌、坐骑等设计中体现大同元素。可以是木兰一人形象,也可创作“木兰和她的朋友”“木兰和她的宠物”等谱系式人物形象。在创作过程中要充分考虑木兰IP后期在推广中的场景应用、...https://www.dt.gov.cn/dtszf/myzj/202405/9f49969cea944382bc56157ed35d4c3c.shtml
5.柒哦宠物猫猫IP角色设计暖雀网柒哦宠物猫猫IP角色设计 柒哦(英文名:chio’s)属于00后的潮流宠物用品品牌,坚持简洁时尚的养宠主张,让宠物与人达到完美融合。 愿景:让柒哦成为一个不高高在上的,真正属于大众用户的品牌。 使命:做一个好的宠物用品品牌,让毛孩子的快乐像可口可乐一样,真诚 实在随手可得。经过前期的项目梳理—设计排期—草图方案...https://www.nuanque.com/gallery/mascot/77999.html
6.Chiikawa爆火背后,拆解打造超级IP的5S要素宠物/伙伴型不需要代入,而是给人带来帮助和陪伴。 如果明明是宠物/伙伴型的角色,非要做一个人格化的设定;或者本来是人格化的设计,偏偏要做得特别像宠物。这会极大地挫伤IP角色的魅力及能量。漫威和DC的众多超级英雄,就能让人们代入自我意识中的英雄情结。当人们观看英雄漫画或电影时,其实是在想象自己就是这样的超能...https://www.lanhaiqingbao.com/suibi/9393.html
7.AIGC绘画设计基础——“这是我学一天AI设计后的作品,效率真的高。”不少小伙伴都在用Midjourney生成图像作品,但对于完整的设计流程却不太熟悉。今天数艺君就跟大家分享一个干货内容:使用Midjourney设计一个动物IP形象! 包含整个项目流程:从项目背景到需求分析,再到出图思路和提示词设计,最后还包括对生成图像的修改。 Midjourney设计动物IP形象 ...https://blog.csdn.net/Android_boom/article/details/142058111
8.产品包装设计公司品牌包装策划企业形象设计极格视觉设计是一家品牌产品包装设计公司,创意包装设计与策略规划公司,主要业务是为金融、医疗、餐饮、能源等行业食品牌包装设计和品牌包装策划,提供品牌vi设计,logo设计,企业形象设计,品牌形象设计,包装设计,品牌形象设计策划,企业品牌包装设计与产品包装策略等服务。https://www.jigeshijue.com/
9.这群风靡亚洲的SML怪物,靠什么吸引地球人?潮玩、有趣、时尚、极具设计感,这些词同时出现在一群怪物身上会产生怎样的化学反应?看韩国的黏黏怪物研究所(Sticky Monster Lab,简称SML)就知道了。 现在SML公司旗下的这些怪物们已经火速在IP界蹿红了,那么,它们又是靠什么吸引挑剔的地球人呢? 2018年,是数字文化产业大爆发的一年。很多人感叹,躲过了爱旅行的蛙...https://www.digitaling.com/articles/74927.html
10.IP形象手办灵感怎么找?用这2个工具一键生成!分别是即时设计和 a1.art,即时设计可以一键复用优质 IP 形象手办资源,无需从零开始做 IP 形象手办设计;而使用 a1.art 就更简单了,只需要上传一张图选择对应风格就能够利用强大的 AI 能力生成 IP 形象手办。本文就给大家带来由这两个工具一键生成的 IP 形象手办灵感:国风小龙 IP、3D 盲盒风卡通龙 IP、闪豹 ...https://js.design/special/article/ip-image-artifacts.html
11.小区物业管理毕业论文(精选6篇)提供各种信息的录入,比如投诉人资料、投诉内容及处理过程;物业报修、并可对物业公司所进行的物业维修;还包括对住户和房产信息的管理。物管中心不但含有小区日常项目的信息,而且还包含了对查询情况的统计功能。系统管理主要任务是提高系统安全性和对系统提供良好的维护,如用户权限可以为用户提供权限服务。3.2 系统模块设计...https://www.360wenmi.com/f/filetbzzh3oh.html
12.萌扎旗下品牌吉详物宠物皮呦piyo动漫表情包应用介绍与IP推广全...品牌宠物IP打造之路,包括表情包,实体化公仔,图库,贴纸,短视频,漫画,手机主题,商业合作等等周边应用。 标签关键词:吉详物推广IP推广宠物形象延展表情包设计品牌设计IP打造宠物推广合作策略 地产麦积山路 NEW TIME【营销定位】【商业综合体】【网红地标IP】 https://www.zhaoanan.com/brand/4190.html
13.标派视觉排版设计 平面设计 品牌形象设计 微型VI设计 2024-08-28 IP设计|品牌打造IP的六大好处 IP形象设计 IP设计 品牌形象设计 吉祥物设计 2024-08-27 深圳包装设计| 包装的重要性 包装设计 产品包装设计 品牌包装设计 设计感包装 创意包装设计 2024-08-26 酒类的品牌全案策划,要怎么做销售? 饮品全案策划 品牌全案策...https://www.bpvis.cn/blog/
14.爱范儿其次,我们发明了新的数值精度,开发了新的架构,设计了集成核心,改进了系统的构建方式,NVLink 增加了超快的内存(HBM),并通过 NVLink 和 InfiniBand 实现了全栈扩展。基本上,所有我描述的关于英伟达做事方式的细节,都促成了超越摩尔定律的创新速度。 现在,真正令人惊叹的是,正因为如此,我们从人类编程转向了机器学习。https://www.ifanr.com/user
15.天降文化南京创心天降文化创意有限公司徽派建筑拟人吉祥物|安徽小皖IP形象全案 旅游文化行业|徽派建筑|银行吉祥物 儿童体育培训行业IP形象设计|小恐龙吉祥物IP全案 体育文化行业|恐龙|动物吉祥物 南京牛首山希尔顿酒店地图|景点地图设计 希尔顿酒店地图设计|地图|旅游行业 宠物医院行业|动画设计 https://www.cxtj.com/
16.哪吒和广汽丰田发布全新IP,汽车品牌开始卷起来了!养的小宠物就成了自己内心的牵挂 不同场景下的应用效果 平面化的IP设计则是加强人物面部心形的设计 搭配上(猿)部分身体结构特征 至于为什么?emmm,看破不说破 这样就能够非常有趣味性和关联性 平面物料的延展应用效果 以及立体化的表情延展 看完上面汽车品牌公布的IP形象设计 ...https://www.cmovip.com/mobile/detail/26847.html
17.恒源祥集团荣膺第十三届财经峰会“2024杰出品牌形象奖”恒源祥集团荣膺第十三届财经峰会“2024杰出品牌形象奖” 7月25日-26日,作为中国经济领域最具影响力的思想盛会“CFS2024第十三届财经峰会暨Amazing 2024创新企业家节”在北京隆重举行。本届峰会的主题为“向新而行,新质生产力激发新活力”,聚集了国内外颇具远见的商业领袖、经济学界翘楚、创业家及新青年代表,讲述...https://m.xiesun.cn/h-nd-679.html