2022年1月国务院发布的《“十四五”数字经济发展规划》中指出要加强类人智能、自然交互与虚拟现实等技术研究。2022年8月,北京市经信局发布国内首个数字人产业专项支持政策——《北京市促进数字人产业创新发展行动计划(2022-2025年)》,并提出目标到2025年,北京市数字人产业规模突破500亿元。本文通过阐述数智人主流产品类别、商业模式及行业发展进程,分析了数智人技术发展的六大最新趋势,并同时对行业发展现状进行总结与分析。
1、主流产品类型和商业模式分析
业内主流数智人产品按功能应用维度可划分为IP型、服务型、身份型三种,分别对应IP运营、客户服务和流量变现三种商业模式。
1.1IP型数智人
由于用户对IP型数智人外观的精细度和写实度要求较高,这类产品的形象风格从最初的二次元,逐渐发展为美型偏写实、超写实风格。生产技术路线早期以手工原画设计为主,之后主要是基于相机阵列扫描等专业采集设备的高精度3D建模配合CG模型精修,形象制作成本从50到100万元不等,制作周期需2-3个月,人工依赖程度高、成本高、耗时长、产能低。面向影视、营销场景的IP型数智人对交互实时性要求较低,且通常依赖美术特效团队进行后期加工,其驱动方式以采用专业动捕场地及设备的真人驱动为主。
1.2服务型数智人
相比IP型数智人,服务型数智人的外形要求相对较低,但对交互的流畅性、行业知识的丰富程度要求较高,因此其生产不仅包含外形建模,还涉及行业知识库及知识图谱的构建,对技术与产业的整合升级提出了更高要求。为满足企业降低成本的需要,功能服务型数智人的建模方式也更倾向于采用轻量化的AI算法进行人物2D/3D建模,驱动方式也从真人驱动逐渐转向全自动的AI驱动。
服务型数智人已在金融、文旅行业积累较多应用成果,如浦发银行和百度共同发布数字员工“小浦”,中国文物交流中心与百度智能云打造的虚拟文物解说员“文夭夭”等,这类产品后续将在医疗、教育等具有流程属性的行业有较大应用潜力。例如面向医疗行业,满足就医引导、诊疗辅助、患者情感陪伴等需求,将衍生出虚拟导诊、家庭陪护、健康顾问等专业化数智人产品;面向教育行业,未来可能会出现虚拟教师、虚拟作业陪写员等应用。
1.3身份型数智人
身份型数智人旨在面向广大C端用户提供现实世界与虚拟空间之间全面感知和链接的入口与载体,其核心属性是身份和交互。这要求在技术上实现通过简便快捷的数据采集,结合低成本、全自动的建模/生成技术来高效制作形象,并利用实时视觉动捕等技术使用户能够自然地驱动形象在虚拟空间中活动并与他人实时互动,这进一步提高了对算法、算力、网络传输、软硬件基础和技术集成能力的要求。
前期探索阶段(2010-2015)
在行业发展初期,IP型数智人在泛娱乐场景率先落地,拉动技术进步的同时,向社会各界普及虚拟人的概念,持续形成宣传与示范效应。
产业融合发展阶段(2015-2021)
跟随娱乐行业的步伐,金融、文旅、快消等其他垂直产业应用跟进,开始出现为政府、企业、品牌对外提供公共服务的数智人解决方案和平台工具,且产品核心价值逐渐向两个方向分化:一是专业化,体现为细分领域的专业虚拟顾问;二是情感化,强调与人之间的情感互动,满足陪护、督促等需求。
提升数智人情感互动的典型案例是OPPO发布的手机端智能服务助手小布4.0。当用户与小布进行语音对话时,小布能创造真实自然的聊天环境,响应用户情感并反馈体现在动作、表情、音调中;当用户点击它身体不同的部位,例如摸头、摸手、摸肚子等交互动作时,小布也会做出对应的身体动作反应。
多模态智能发展阶段(2021-至今)
伴随着以ChatGPT为代表的AIGC、大模型技术的引入,数智人技术进入了高速发展期。语音、图片、视频等多模态元素的融合扩展了数智人感知理解的维度,提升了其交互内容和交互形式的丰富度,因而数智人的创造力、自动化程度和真人替代能力也进一步提升,极大地拓宽了数智人在多个领域的应用潜力。
数字助手微软小冰从第五代产品开始已具备了多模态生成交互能力,融合了全双工语音交互、实时视觉与核心对话引擎,实现用户与人工智能同时边听边说边看的交互体验。基于歌声合成、文生图等艺术家模型,小冰集诗人、歌手、主持人、画家和设计师多种功能于一身,通过不断学习迭代来实现与人类艺术家同等质量水准的创作。
另外,在此阶段,数智人生产能力也朝着智能化、便捷化、精细化、多样化发展。2021年,Epic发布MetahumanCreator,基于云端的混合型变计算和渲染,支持用户在网页端创建高保真的3D虚拟形象,并结合苹果ArKit等实时3D面部关键点捕捉工具生成面部动画。
未来发展趋势
根据市场分析机构预测,2025年我国虚拟人带动产业市场规模和核心市场规模将分别达到6402.7亿元和480.6亿元。从当前市场构成方面,数智人生产和运营的B端市场占比最高,达到了79%,并且规模不断扩大。其中,2023年企业用户购买最多的数智人产品类型是数字员工,占比60.2%,其次是自定义数字人,占比为53.3%,为明星等名人定制数字形象的需求占比为38.6%。
随着技术进步和市场认知提升,数智人的技术门槛和软硬件成本进一步下降,数智人服务逐渐向工具化和系统化演进。面向广大C端用户的身份型数智人的应用潜力巨大,与元宇宙概念结合,将形成更开放的创作生态和全新商业模式。在可预见的未来,更多支持制作二次元、三维写实、超写实等风格数智人的开放工具和平台将充分满足C端用户生产、管理、运营形象资产和虚拟身份的需求;借助成熟的视频、语音等轻量级多模态驱动技术,只需手机等移动端的单摄像头和算力就能实时获得驱动数智人所需的高精度动作和表情数据;再将虚拟化身与各类虚拟空间平台相结合,实现高自由度的、深度沉浸的6DoF空间交互通信,人们互联互通方式将再次升级。
3、行业技术发展方向
第一,产学界共同推动低成本轻量化算法覆盖数智人全流程,促进C端应用成熟。近年来涌现出一系列轻量化计算机图形学技术,如隐式三维重建、实时神经渲染等,推动三维人物建模的实时性、自动化、精细度提升。仅需单目/多目便携式设备采集的视频数据进行训练就能全自动创建人物模型,无需依赖特殊采集环境及设备和手工建模,大幅降低了数智人生产成本。2023年8月,学术界提出了一种新方法实现3D辐射场的实时渲染,即3DGaussianSplatting(3DGS),该方法相比已有的隐式神经辐射场技术,进一步突破了三维人物/场景的渲染速度和渲染质量的边界。苹果团队2023年12月发表的最新工作[9]提出引入3DGS来表示可驱动的人体及场景,只需要2到4秒的视频(50-100帧),就能生成完整的人体模型,并对皮肤和衣服、头发等细节进行精细建模,速度比当前其他同类技术(NeuMan[10]、Vid2Avatar等)快约100倍。
另外,2022年兴起的text-to-3D生成式AI技术,通过收集大规模3D数据库和对应的文本描述训练扩散模型,只需输入文本提示词,完全避免了用户侧的数据采集步骤,高效率、低门槛地生成3D模型。影眸科技推出的ChatAvatar和微软RODIN就基于text-to-3D技术,只需要简单的文本提示词描述外貌特征,就能在快速生成3D数字人资产,并且模型带有规整的拓扑、材质贴图和绑定数据,可以直接接入Unity、UnrealEngine和Maya等制作引擎的生产管线中。
在驱动方面,视觉、语音驱动算法的优化推动专业动捕设备趋向便捷化,面部捕捉技术向更简单的硬件、更细腻的表情、更自动化的流程方向发展。已有学术及产业界团队提出采用AI生成式模型,基于语音生成节奏一致性的人体面部口型和肢体动作序列来驱动人物三维模型。这类技术将逐步替代需要穿戴动捕设备的真人驱动方式,只需要音频或视觉特征点数据输入,对驱动端的硬件要求很低,有效降低了数智人的使用门槛。
第二,在线可交互式数智人将替代离线非交互式数智人。在行业技术早期发展阶段,基于离线渲染、后期制作的非交互类型数智人是主流,互联网内容分发平台将离线制作的包含虚拟偶像的数字内容融入到现有的业务逻辑中,在数字化营销、文娱等领域广泛应用。随着数智人概念的普及和AI驱动技术快速发展,用户很快进入体验突破阶段,在电商直播、数字服务领域已有使用实时交互和实时渲染的数智人作为新型交互方式的应用案例。未来,以元宇宙发展为契机,实时AI驱动、渲染传输等技术门槛进一步降低,社交、电商、娱乐、VR应用等会出现以在线可交互式数智人为入口,与数字场景深度耦合的全新的业务逻辑,并结合更深的行业理解,带来更真实的沉浸感和更丰富的商业价值。
第三,数智人在不断发展“形似人”的基础上更加“神似人”。“神似人”是要求数智人具备类似人的分析思考能力,包括学习、记忆、推理、决策,并具备理解反馈和传达情感的能力。目前大多数数智人具备的初级沟通功能,本质是以NLP为核心的文本驱动,通过ASR-NLP-TTS的AI管线实现数智人感知、理解、决策、表达。其中,支撑数智人分析思考的NLP技术也将向专业化和情感化两个方向进化:向专业化方向发展,将多行业知识图谱与数智人对话系统对接,应用于特定场景;向情感化方向发展,将从人物性格、语言风格、知识储备等方面还原真人级互动体验。未来ASR-NLP-TTS技术将在文本语义交互的基础上,强化对文本中情感/意图的理解,并实现与语义和情感一致的语音情感、微表情和人物姿态的智能合成。另外,多模态AIGC技术的出现将成为数智人拥有思想和自主创造能力的最大推动力,在输入端使数智人具备多模态输入的感知理解能力,在输出端使数智人能够进行多模态交互和自动化内容生产。
第四,数智人与空间计算加速融合。随着数智人的交互维度升级,交互信息媒介将从一维的语音数据到二维的图像、视频数据,再拓展到虚实空间的位置关系、路径、姿态等三维数据。数智人作为一种虚拟的三维存在形式,势必将与其他三维数字空间技术如SLAM(即时定位与地图构建)、体积视频、空间音频等融合,以人为原点构建完整的虚实交互技术体系,实现真人在虚拟空间中的多方互动漫游,虚拟/真实空间中真人和数字人的交互,数字人对真实空间的感知等。
从2021年起,百度希壤等沉浸式虚拟社交应用初步搭建了中心化分发的多人虚拟漫游产品框架。但这类应用目前仅支持对固定虚拟场景的多视角观看,难以实现对空间内的虚拟物体进行操控或进行个性化空间定制,单人活动和多人互动的模式单一;由于VR头显、手机等端侧算力有限,部分场景采用贴图等2.5D技术构建,人物建模也采用低精度的卡通捏脸方式,以减轻端侧渲染压力。立体呈现效果的粗糙和操控方式的受限导致了沉浸感降低。未来要实现数智人在虚拟空间内进行多点6DoF同步观看和对空间内物体的任意操控,人/物/空间关系与行为分析、编码传输、端边云协同渲染等关键能力亟待攻关,空间感知、空间交互处理、立体呈现技术栈仍需逐渐完善。
4、总结与思考
目前,行业中大多数公司聚焦于数智人全流程上的一环或几环,如资产制作和策划运营,面向直播营销、内容生产等单一领域应用,门槛较低、可替代性较高。具备技术和场景的头部厂商的优势在于综合技术服务能力和分布式算力等基础设施,但这类公司基本处于试验产品可行性、依托自身优势场景打造标杆应用的阶段。如何促进数智人产业链各个结点的密切协同,构建统一完善的行业标准,是进一步释放产能、打破技术壁垒的关键。
[参考文献]
[1]《2020年虚拟数字人发展白皮书》,中国人工智能产业发展联盟.
[3]《虚拟数字人研究报告2.0版》,清华大学新闻与传播学院新媒体研究中心,2022
[4]《虚拟数字人研究报告:溯源、应用、发展》,清华大学新闻与传播学院新媒体研究中心,2022.
[5]《中国虚拟数字人影响力指数报告(2022年度)》,中国传媒大学媒体融合与传播国家重点实验室媒体大数据研究中心.
[6]《2022虚拟数字人综合评估指数报告》,清华大学新闻与传播学院新媒体研究中心.
[7]《2023年中国虚拟人产业发展与商业趋势研究报告》,艾媒咨询.
[8]Kerbl,Bernhard,etal."3DGaussianSplattingforReal-TimeRadianceFieldRendering."ACMTransactionsonGraphics42.4,2023.
[9]Kocabas,Muhammed,etal."Hugs:Humangaussiansplats."arXivpreprintarXiv:2311.17910,2023.
[10]Jiang,Wei,etal."Neuman:Neuralhumanradiancefieldfromasinglevideo."EuropeanConferenceonComputerVision.Cham:SpringerNatureSwitzerland,2022.
[11]Guo,Chen,etal."Vid2avatar:3davatarreconstructionfromvideosinthewildviaself-supervisedscenedecomposition."ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition,2023.
[12]Poole,Ben,etal."Dreamfusion:Text-to-3dusing2ddiffusion."arXivpreprintarXiv:2209.14988,2022.
[13]Zhang,Longwen,etal."DreamFace:ProgressiveGenerationofAnimatable3DFacesunderTextGuidance."arXivpreprintarXiv:2304.03117,2023.
[14]Wang,Tengfei,etal."Rodin:Agenerativemodelforsculpting3ddigitalavatarsusingdiffusion."ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition,2023.
[15]Zhang,Fan,etal."DiffMotion:Speech-drivengesturesynthesisusingdenoisingdiffusionmodel."InternationalConferenceonMultimediaModeling.Cham:SpringerInternationalPublishing,2023.