本发明涉及人工智能技术领域,特别涉及一种宠物的3d形象生成方法及装置、电子设备、计算机可读存储介质。
背景技术:
随着生活水平的提高,人们越来越注重精神追求,如越来越多的人们选择饲养猫、狗等宠物,与宠物建立深厚的友谊,以丰富自己的情感。同时,人们在与宠物进行趣味互动时,也喜欢对宠物拍摄照片或视频,以记录宠物的萌态。
然而,现有的拍照和视频的方式仅能记录宠物的二维形象,趣味性不佳。
技术实现要素:
本发明的目的在于提供一种宠物的3d形象生成方法及装置、电子设备、计算机可读存储介质,以根据宠物的二维形象生成3d形象,提高宠物的趣味性。具体技术方案如下:
第一方面,本发明提供了一种宠物的3d形象生成方法,包括:
步骤s1,获取用户拍摄的宠物图片或视频;
步骤s2,通过预先训练的宠物种类识别模型识别所述宠物图片或视频中宠物的种类,并根据识别出的种类调用相应的标准3d模型;所述宠物种类识别模型为基于神经网络的模型;
步骤s3,从所述宠物图片或视频中获取所述宠物的生物特征数据,并将所述生物特征数据与所述标准3d模型结合,生成所述宠物的3d模型;
步骤s4,通过预先建立的表情识别模型对所述宠物图片或视频进行表情识别,根据用户设定的表情,获取所述宠物的一个或多个具有所述表情的图片,并将获取的图片合成到所述宠物的3d模型中,生成所述宠物具有所述表情的3d形象,所述表情识别模型为基于神经网络的模型。
可选的,步骤s3从所述宠物照片或视频中获取所述宠物的生物特征数据,包括:
从所述宠物图片或视频中获取所述宠物的尺寸数据、面部特征、皮肤及毛发特征、肢体特征和/或尾巴特征。
可选的,步骤s3将所述生物特征数据与所述标准3d模型结合,生成所述宠物的3d模型,包括:
步骤s31,根据所述宠物的尺寸数据调整所述标准3d模型中宠物的大小,以及将所述宠物的面部特征、皮肤特征、肢体特征和/或尾巴特征合成到所述标准3d模型中的宠物上,以生成所述宠物的3d模型。
可选的,所述宠物的尺寸数据包括所述宠物图片或视频中所述宠物的关键部位在二维空间的坐标信息;
步骤s31根据所述宠物的尺寸数据调整所述标准3d模型中宠物的大小,包括:
将所述宠物图片和/或视频中所述宠物的关键部位在二维空间的坐标信息映射到三维空间的坐标信息;
根据所述宠物的关键部位在三维空间的坐标信息调整所述标准3d模型中宠物的大小。
可选的,步骤s2根据识别出的种类调用相应的标准3d模型,包括:
从预先建立的一标准3d模型数据库中调用识别出的种类对应的标准3d模型,其中所述标准3d模型数据库中存储有多个宠物种类对应的标准3d模型。
可选的,步骤s4将获取的图片合成到所述宠物的3d模型中,生成所述宠物具有所述表情的3d形象,包括:
从获取的图片中提取所述宠物的面部状态特征,并将所述面部状态特征合成到所述宠物的3d模型中,生成所述宠物具有所述表情的3d形象。
可选的,当用户设定生成静态3d形象时,获取一个具有所述表情的图片,将获取的图片合成到所述宠物的3d模型中,生成所述宠物具有所述表情的静态3d形象;
当用户设定生成动态3d形象时,获取具有所述表情的连续多帧图片,将连续多帧图片合成为动态表情图片,将所述动态表情图片合成到所述宠物的3d模型中,生成所述宠物具有所述表情的静态3d形象。
可选的,在所述用户拍摄宠物的连续多张图片或视频的情况下,在步骤s4通过预先建立的表情识别模型对所述宠物图片或视频进行表情识别之后,还包括:将识别为同一种表情的连续拍摄的多张图片或视频帧组合为该表情对应的动作图片集合;
步骤s4根据用户设定的表情,获取所述宠物的一个或多个具有所述表情的图片,并将获取的图片合成到所述宠物的3d模型中,生成所述宠物具有所述表情的3d形象,包括:
步骤s41,获取用户设定的表情对应的动作图片集合,并将获取的动作图片集合中的多个图片合成到所述宠物的3d模型中,生成所述宠物具有所述表情的3d动作形象。
可选的,如果不存在用户设定的表情对应的动作图片集合,所述方法还包括:
从预先建立的标准3d模型数据库中调用所述宠物的种类对应的动作3d模型,其中所述标准3d模型数据库中存储有多个宠物种类对应的动作3d模型;
步骤s3将所述生物特征数据与所述标准3d模型结合,生成所述宠物的3d模型,包括:
将所述生物特征数据与所述宠物的种类对应的动作3d模型结合,生成所述宠物的动作3d模型;
根据用户设定的表情,获取所述宠物的一个或多个具有所述表情的图片,并将获取的图片合成到所述宠物的动作3d模型中,生成所述宠物具有所述表情的3d动作形象。
可选的,在获取用户拍摄宠物的视频时,还包括:获取拍摄时采集的声音;
所述方法还包括:将各个表情对应的动作图片集合中的各个视频帧对应的声音按照视频帧的顺序合并保存,得到各个动作图片集合对应的声音数据;
步骤s41获取用户设定的表情对应的动作图片集合,并将获取的动作图片集合中的视频帧合成到所述宠物的3d模型中,生成所述宠物具有所述表情的3d动作形象,包括:
获取用户设定的表情对应的动作图片集合以及对应的声音数据,并将获取的动作图片集合中的视频帧合成到所述宠物的3d模型中,同时添加对应的声音数据,生成所述宠物具有所述表情的有声3d动作形象。
可选的,所述从预先建立的标准3d模型数据库中调用所述宠物的种类对应的动作3d模型,包括:
从预先建立的标准3d模型数据库中调用所述宠物的种类对应的动作3d模型以及对应的声音数据,其中所述标准3d模型数据库中存储有多个宠物种类对应的动作3d模型以及对应的声音数据;
所述将获取的图片合成到所述宠物的动作3d模型中,生成所述宠物具有所述表情的3d动作形象,包括:
将获取的图片合成到所述宠物的动作3d模型中,同时添加对应的声音数据,生成所述宠物具有所述表情的有声3d动作形象。
第二方面,本发明还提供了一种宠物的3d形象生成装置,包括:
获取模块,用于获取用户拍摄的宠物图片或视频;
调用模块,用于通过预先训练的宠物种类识别模型识别所述宠物图片或视频中宠物的种类,并根据识别出的种类调用相应的标准3d模型;所述宠物种类识别模型为基于神经网络的模型;
合成模块,用于从所述宠物图片或视频中获取所述宠物的生物特征数据,并将所述生物特征数据与所述标准3d模型结合,生成所述宠物的3d模型;
生成模块,用于通过预先建立的表情识别模型对所述宠物图片或视频进行表情识别,根据用户设定的表情,获取所述宠物的一个或多个具有所述表情的图片,并将获取的图片合成到所述宠物的3d模型中,生成所述宠物具有所述表情的3d形象,所述表情识别模型为基于神经网络的模型。
可选的,所述合成模块从所述宠物照片或视频中获取所述宠物的生物特征数据的方法,包括:
可选的,所述合成模块将所述生物特征数据与所述标准3d模型结合,生成所述宠物的3d模型的方法,包括:
根据所述宠物的尺寸数据调整所述标准3d模型中宠物的大小,以及将所述宠物的面部特征、皮肤特征、肢体特征和/或尾巴特征合成到所述标准3d模型中的宠物上,以生成所述宠物的3d模型。
所述合成模块根据所述宠物的尺寸数据调整所述标准3d模型中宠物的大小的方法,包括:
可选的,所述调用模块根据识别出的种类调用相应的标准3d模型的方法,包括:
可选的,所述生成模块将获取的图片合成到所述宠物的3d模型中,生成所述宠物具有所述表情的3d形象的方法,包括:
可选的,当用户设定生成静态3d形象时,所述生成模块获取一个具有所述表情的图片,将获取的图片合成到所述宠物的3d模型中,生成所述宠物具有所述表情的静态3d形象;
当用户设定生成动态3d形象时,所述生成模块获取具有所述表情的连续多帧图片,将连续多帧图片合成为动态表情图片,将所述动态表情图片合成到所述宠物的3d模型中,生成所述宠物具有所述表情的静态3d形象。
可选的,在所述用户拍摄宠物的连续多张图片或视频的情况下,所述生成模块在通过预先建立的表情识别模型对所述宠物图片或视频进行表情识别之后,还用于:将识别为同一种表情的连续拍摄的多张图片或视频帧组合为该表情对应的动作图片集合;
所述生成模块根据用户设定的表情,获取所述宠物的一个或多个具有所述表情的图片,并将获取的图片合成到所述宠物的3d模型中,生成所述宠物具有所述表情的3d形象的方法,包括:
获取用户设定的表情对应的动作图片集合,并将获取的动作图片集合中的多个图片合成到所述宠物的3d模型中,生成所述宠物具有所述表情的3d动作形象。
可选的,如果不存在用户设定的表情对应的动作图片集合,所述调用模块,用于:
所述合成模块将所述生物特征数据与所述标准3d模型结合,生成所述宠物的3d模型的方法,包括:
可选的,所述获取模块在获取用户拍摄宠物的视频时,还用于:获取拍摄时采集的声音;
所述装置还包括:保存模块,用于将各个表情对应的动作图片集合中的各个视频帧对应的声音按照视频帧的顺序合并保存,得到各个动作图片集合对应的声音数据;
所述生成模块获取用户设定的表情对应的动作图片集合,并将获取的动作图片集合中的视频帧合成到所述宠物的3d模型中,生成所述宠物具有所述表情的3d动作形象的方法,包括:
可选的,所述调用模块从预先建立的标准3d模型数据库中调用所述宠物的种类对应的动作3d模型的方法,包括:
所述生成模块将获取的图片合成到所述宠物的动作3d模型中,生成所述宠物具有所述表情的3d动作形象的方法,包括:
第三方面,本发明还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序时,实现上述第一方面所述的宠物的3d形象生成方法的步骤。
第四方面,本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的宠物的3d形象生成方法的步骤。
与现有技术相比,本发明的技术方案具有以下有益效果:
首先获取用户拍摄的宠物图片或视频,通过宠物种类识别模型识别宠物图片或视频中宠物的种类,并根据识别出的种类调用相应的标准3d模型,然后从宠物图片或视频中获取宠物的生物特征数据,并将生物特征数据与标准3d模型结合生成宠物的3d模型,最后通过表情识别模型对宠物图片或视频进行表情识别,根据用户设定的表情,获取宠物的一个或多个具有所述表情的图片,并将获取的图片合成到宠物的3d模型中,生成宠物具有所述表情的3d形象。本发明可以根据用户拍摄的宠物图片或视频生成宠物的3d形象,增加了宠物的趣味性,提高了用户体验,同时将宠物的生物特征数据与宠物的标准3d模型结合,使得宠物的3d模型更加逼真,另外根据用户设定的表情生成宠物具有所述表情的3d形象,使得宠物的3d形象更加丰富多样,进一步提高了用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的宠物的3d形象生成方法的流程示意图;
图2是本发明一实施例提供的宠物的3d形象生成装置的结构示意图;
图3是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
以下结合附图和具体实施例对本发明提出的一种宠物的3d形象生成方法及装置、电子设备及计算机可读存储介质作进一步详细说明。根据下面说明,本发明的优点和特征将更清楚。需说明的是,附图均采用非常简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本发明实施例的目的。
为解决现有技术的问题,本发明实施例提供了一种宠物的3d形象生成方法及装置、电子设备及计算机可读存储介质。
需要说明的是,本发明实施例的宠物的3d形象生成方法可应用于本发明实施例的宠物的3d形象生成装置,该宠物的3d形象生成装置可被配置于电子设备上。其中,该电子设备可以是个人计算机、移动终端等,该移动终端可以是手机、平板电脑等具有各种操作系统的硬件设备。
图1是本发明一实施例提供的一种宠物的3d形象生成方法的流程示意图。请参考图1,一种宠物的3d形象生成方法可以包括如下步骤:
步骤s1,获取用户拍摄的宠物图片或视频。
本实施例中,用户对宠物可以拍摄图片也可以拍摄视频。用户拍摄的宠物图片可以是单张图片,也可以是多张连续图片,即用户通过连拍的方式拍摄宠物图片。如果用户拍摄的是视频,则从视频中提取各个视频帧,并在后续步骤中将视频帧输入相应的识别模型进行识别。
步骤s2,通过预先训练的宠物种类识别模型识别所述宠物图片或视频中宠物的种类,并根据识别出的种类调用相应的标准3d模型。
所述宠物种类识别模型为基于神经网络的模型,宠物种类识别模型可以通过如下过程训练得到:针对每种宠物均获取多个宠物图片样本,组成训练样本集;对训练样本集中每个宠物图片样本进行标注处理,以标注出每个宠物图片样本中宠物的种类;通过经过所述标注处理的训练样本集,对神经网络进行训练,得到宠物种类识别模型。将用户拍摄的宠物图片或者视频中的视频帧输入上述的宠物种类识别模型,则宠物种类识别模型经过识别处理后可输出宠物种类。
本步骤中根据识别出的种类调用相应的标准3d模型,具体为:从预先建立的一标准3d模型数据库中调用识别出的种类对应的标准3d模型,其中所述标准3d模型数据库中存储有多个宠物种类对应的标准3d模型。所述标准3d模型数据库中存储的标准3d模型可以是根据每种宠物的大量样本图片或者视频训练建立的,也可以是人工设定的各种宠物的3d模型。
步骤s3,从所述宠物图片或视频中获取所述宠物的生物特征数据,并将所述生物特征数据与所述标准3d模型结合,生成所述宠物的3d模型。
其中,宠物的生物特征可以包括宠物的尺寸、面部特征、皮肤及毛发特征、肢体特征和/或尾巴特征等。在实际应用中,可通过特征提取技术从宠物图片或视频中获取所述宠物的上述生物特征数据。
本步骤中,将所述生物特征数据与所述标准3d模型结合,生成所述宠物的3d模型,具体为:根据所述宠物的尺寸数据调整所述标准3d模型中宠物的大小,以及将所述宠物的面部特征、皮肤特征、肢体特征和/或尾巴特征合成到所述标准3d模型中的宠物上,以生成所述宠物的3d模型。
具体而言,所述宠物的尺寸数据包括所述宠物图片或视频中所述宠物的关键部位在二维空间的坐标信息,上述根据所述宠物的尺寸数据调整所述标准3d模型中宠物的大小,具体为:将所述宠物图片和/或视频中所述宠物的关键部位在二维空间的坐标信息映射到三维空间的坐标信息;根据所述宠物的关键部位在三维空间的坐标信息调整所述标准3d模型中宠物的大小,这样对标准3d模型中宠物的尺寸进行调整以便符合用户宠物的实际尺寸。例如,可以通过3d-gan模型,来根据用户宠物图片上的二维关键点坐标映射到三维空间的坐标来调整标准3d模型中宠物的尺寸。3d生成对抗网络(3d-gan)是利用体积卷积网络和生成对抗网络的技术,可以从概率空间生成3d对象,3d-gan是使用生成对抗网络学习2d图像到3d模型的映射,生成网络负责生成3d模型,对抗网络判断这些模型是真是假。神经网络学习从检测到的图片2d关键点分布到3d关键点分布的映射,其映射的3d结果送入鉴别器网络进行判断,从生成对抗网络的角度来看,可以将其看做生成器网络。
上述将所述宠物的面部特征、皮肤及毛发特征、肢体特征和/或尾巴特征合成到所述标准3d模型中的宠物上,具体可以通过deepfake等图像合成软件或模型来实现。deepfake是一种人工智能基础的人物图像合成技术,它用于使用称为“生成对抗性网络”(gan)的机器学习技术将现有图像和视频组合并叠加到源图像或视频上。通过deepfake等图像合成软件或模型将用户宠物的面部特征、皮肤及毛发特征、肢体特征和/或尾巴特征合成到所述标准3d模型中的宠物上的具体过程可参见现有技术,在此不做赘述。
步骤s4,通过预先建立的表情识别模型对所述宠物图片或视频进行表情识别,根据用户设定的表情,获取所述宠物的一个或多个具有所述表情的图片,并将获取的图片合成到所述宠物的3d模型中,生成所述宠物具有所述表情的3d形象。
表情(expression)用来显示情感(emotion)、情绪(mood)的面部状态,有时也可配合肢体动作或者声调。宠物表情的识别是根据预先训练建立的表情识别模型来进行识别处理的,所述表情识别模型为基于神经网络的模型。表情识别模型可以通过如下过程训练得到:针对每个宠物种类均获取多个表情图片,组成训练样本集;对训练样本集中每个表情图片样本进行标注处理,以标注出每个表情图片样本中的宠物的表情;通过经过所述标注处理的训练样本集,对神经网络进行训练,得到表情识别模型。
对用户拍摄的宠物图片或视频进行表情识别后,可以对相应表情的图片或视频帧标注上表情名称,例如高兴、害怕、伤心、愤怒等。用户拍摄的宠物图片或视频帧标注表情名称后可以存储在数据库中,以便后续使用。
当用户设定宠物表情后,可以从数据库中获取一个或多个具有相应表情的图片,例如用户设定的表情为高兴,则从数据库中调用一个或多个宠物表情为高兴的图片,用于生成宠物的表情为高兴的3d形象。
其中,将获取的图片合成到所述宠物的3d模型中,生成所述宠物具有所述表情的3d形象,具体为:从获取的图片中提取所述宠物的面部状态特征,并将所述面部状态特征合成到所述宠物的3d模型中,生成所述宠物具有所述表情的3d形象。
在用户设定宠物表情时,用户还可以选择生成静态的3d形象,或者生成动态的3d形象。若用户设定生成静态3d形象,则获取一个具有所述表情的图片,将获取的图片合成到所述宠物的3d模型中,生成所述宠物具有所述表情的静态3d形象。若用户设定生成动态3d形象,则获取具有所述表情的连续多帧图片,将连续多帧图片合成为动态表情图片,将所述动态表情图片合成到所述宠物的3d模型中,生成所述宠物具有所述表情的静态3d形象。
进一步的,若所述用户拍摄了宠物的连续多张图片或视频,则在生成宠物具有所述表情的3d形象时还可配合相应的动作,以生成宠物具有所述表情的3d动作形象。
具体的,在步骤s4通过预先建立的表情识别模型对所述宠物图片或视频进行表情识别之后,还可以将识别为同一种表情的连续拍摄的多张图片或视频帧组合为该表情对应的动作图片集合。例如,若用户连拍了10张宠物图片,第1-5张图片被识别为表情a,第6-10张被识别为表情b,则将第1-5张图片组合为表情a对应的动作图片集合1,将第6-10张图片组合为表情b对应的动作图片集合2。
进而,当用户设定宠物表情后,就可以获取用户设定的表情对应的动作图片集合,并将获取的动作图片集合中的多个图片合成到所述宠物的3d模型中,生成所述宠物具有所述表情的3d动作形象。例如,用户设定宠物的表情为表情a,则获取表情a对应的动作图片集合1,将动作图片集合1中的5张图片合成到所述宠物的3d模型中,生成所述宠物具有表情a的3d动作形象。
此外,当用户设定宠物表情后,如果不存在用户设定的表情对应的动作图片集合,或者用户拍摄的是单张的宠物图片,则可以从预先建立的标准3d模型数据库中调用所述宠物的种类对应的动作3d模型,其中所述标准3d模型数据库中存储有多个宠物种类对应的动作3d模型;然后,将宠物的生物特征数据与该动作3d模型结合,生成所述宠物的动作3d模型;接着,再根据用户设定的表情,获取所述宠物的一个或多个具有所述表情的图片,并将获取的图片合成到所述宠物的动作3d模型中,生成所述宠物具有所述表情的3d动作形象。
进一步的,若所述用户拍摄了宠物的视频,则在生成宠物具有所述表情的3d动作形象时还可配合相应的声音,例如叫声,以生成宠物具有所述表情的有声3d形象。
具体的,在获取用户拍摄宠物的视频时,还可以获取拍摄时采集的声音,并且将各个表情对应的动作图片集合中的各个视频帧对应的声音按照视频帧的顺序合并保存,得到各个动作图片集合对应的声音数据。举例而言,用户拍摄了10秒的视频,其中第1-5秒的视频帧被识别为表情a,第6-10秒的视频帧被识别为表情b,则将第1-5秒的视频帧组合为表情a对应的动作图片集合1,同时将采集的第1-5秒的声音保存为动作集合1对应的声音数据,将第6-10秒的视频帧组合为表情b对应的动作图片集合2,同时,将采集的第6-10秒的声音保存为动作集合2对应的声音数据。
进而,当用户设定宠物表情后,就可以获取用户设定的表情对应的动作图片集合以及对应的声音数据,并将获取的动作图片集合中的视频帧合成到所述宠物的3d模型中,同时添加对应的声音数据,生成所述宠物具有所述表情的有声3d动作形象。
此外,若用户没有拍摄宠物视频而无法获取声音数据时,还可以从预先建立的标准3d模型数据库中调用所述宠物的种类对应的动作3d模型以及对应的声音数据,其中所述标准3d模型数据库中存储有多个宠物种类对应的动作3d模型以及对应的声音数据;从而,再将根据用户设定的表情获取的宠物图片合成到所述宠物的动作3d模型中,同时添加对应的声音数据,生成所述宠物具有所述表情的有声3d动作形象。
相应于上述方法实施例,本发明一实施例还提供了一种宠物的3d形象生成装置。请参考图2,图2是本发明一实施例提供的一种宠物的3d形象生成装置的结构示意图,一种宠物的3d形象生成装置可以包括:
获取模块201,用于获取用户拍摄的宠物图片或视频;
调用模块202,用于通过预先训练的宠物种类识别模型识别所述宠物图片或视频中宠物的种类,并根据识别出的种类调用相应的标准3d模型;所述宠物种类识别模型为基于神经网络的模型;
合成模块203,用于从所述宠物图片或视频中获取所述宠物的生物特征数据,并将所述生物特征数据与所述标准3d模型结合,生成所述宠物的3d模型;
生成模块204,用于通过预先建立的表情识别模型对所述宠物图片或视频进行表情识别,根据用户设定的表情,获取所述宠物的一个或多个具有所述表情的图片,并将获取的图片合成到所述宠物的3d模型中,生成所述宠物具有所述表情的3d形象,所述表情识别模型为基于神经网络的模型。
可选的,所述合成模块203从所述宠物照片或视频中获取所述宠物的生物特征数据的方法,包括:
可选的,所述合成模块203将所述生物特征数据与所述标准3d模型结合,生成所述宠物的3d模型的方法,包括:
所述合成模块203根据所述宠物的尺寸数据调整所述标准3d模型中宠物的大小的方法,包括:
可选的,所述调用模块202根据识别出的种类调用相应的标准3d模型的方法,包括:
可选的,所述生成模块204将获取的图片合成到所述宠物的3d模型中,生成所述宠物具有所述表情的3d形象的方法,包括:
可选的,当用户设定生成静态3d形象时,所述生成模块204获取一个具有所述表情的图片,将获取的图片合成到所述宠物的3d模型中,生成所述宠物具有所述表情的静态3d形象;
当用户设定生成动态3d形象时,所述生成模块204获取具有所述表情的连续多帧图片,将连续多帧图片合成为动态表情图片,将所述动态表情图片合成到所述宠物的3d模型中,生成所述宠物具有所述表情的静态3d形象。
可选的,在所述用户拍摄宠物的连续多张图片或视频的情况下,所述生成模块204在通过预先建立的表情识别模型对所述宠物图片或视频进行表情识别之后,还用于:将识别为同一种表情的连续拍摄的多张图片或视频帧组合为该表情对应的动作图片集合;
所述生成模块204根据用户设定的表情,获取所述宠物的一个或多个具有所述表情的图片,并将获取的图片合成到所述宠物的3d模型中,生成所述宠物具有所述表情的3d形象的方法,包括:
可选的,如果不存在用户设定的表情对应的动作图片集合,所述调用模块202,用于:
所述合成模块203将所述生物特征数据与所述标准3d模型结合,生成所述宠物的3d模型的方法,包括:
可选的,所述获取模块201在获取用户拍摄宠物的视频时,还用于:获取拍摄时采集的声音;
所述生成模块204获取用户设定的表情对应的动作图片集合,并将获取的动作图片集合中的视频帧合成到所述宠物的3d模型中,生成所述宠物具有所述表情的3d动作形象的方法,包括:
可选的,所述调用模块202从预先建立的标准3d模型数据库中调用所述宠物的种类对应的动作3d模型的方法,包括:
所述生成模块204将获取的图片合成到所述宠物的动作3d模型中,生成所述宠物具有所述表情的3d动作形象的方法,包括:
本发明一实施例还提供了一种电子设备,图3是本发明一实施例提供的一种电子设备的结构示意图。请参考图3,一种电子设备包括处理器301、通信接口302、存储器303和通信总线304,其中,处理器301,通信接口302,存储器303通过通信总线304完成相互间的通信,
存储器303,用于存放计算机程序;
处理器301,用于执行存储器303上所存放的程序时,实现如下步骤:
另外,处理器301执行存储器303上所存放的程序而实现的宠物的3d形象生成方法的其他实现方式,与前述方法实施例部分所提及的实现方式相同,这里也不再赘述。
上述电子设备提到的通信总线可以是外设部件互连标准(peripheralcomponentinterconnect,pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture,eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(randomaccessmemory,ram),也可以包括非易失性存储器(non-volatilememory,nvm),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(centralprocessingunit,cpu)、网络处理器(networkprocessor,np)等;还可以是数字信号处理器(digitalsignalprocessing,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明一实施例还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,该计算机程序被处理器执行时实现上述的宠物的3d形象生成方法的步骤。
综上所述,本发明首先获取用户拍摄的宠物图片或视频,通过宠物种类识别模型识别宠物图片或视频中宠物的种类,并根据识别出的种类调用相应的标准3d模型,然后从宠物图片或视频中获取宠物的生物特征数据,并将生物特征数据与标准3d模型结合生成宠物的3d模型,最后通过表情识别模型对宠物图片或视频进行表情识别,根据用户设定的表情,获取宠物的一个或多个具有所述表情的图片,并将获取的图片合成到宠物的3d模型中,生成宠物具有所述表情的3d形象。本发明可以根据用户拍摄的宠物图片或视频生成宠物的3d形象,增加了宠物的趣味性,提高了用户体验,同时将宠物的生物特征数据与宠物的标准3d模型结合,使得宠物的3d模型更加逼真,另外根据用户设定的表情生成宠物具有所述表情的3d形象,使得宠物的3d形象更加丰富多样,进一步提高了用户体验。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
上述描述仅是对本发明较佳实施例的描述,并非对本发明范围的任何限定,本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰,均属于权利要求书的保护范围。