【技术实现步骤摘要】
虚拟形象生成、模型的训练方法、装置及电子设备
[0001]本公开涉及人工智能
,尤其涉及计算机视觉、增强现实、虚拟现实、深度学习等
,可应用于元宇宙、数字人等场景,具体地,涉及一种虚拟形象生成、模型的训练方法、装置及电子设备。
技术介绍
[0002]虚拟数字人是创建元宇宙虚拟世界的关键元素之一。根据数字人的业务需求不同,数字人可分为2维、3维、卡通、写实、超写实等。在实际场景中,需要针对虚拟数字人构建适配业务需求的基本虚拟形象。
技术实现思路
[0003]本公开提供了一种虚拟形象生成、模型的训练方法、装置及电子设备。
[0004]根据本公开的一方面,提供了一种虚拟形象生成方法,包括:根据对象第一子区域的第一子区域点云信息和对象第二子区域的第二子区域几何信息,确定对象目标区域的目标区域点云信息,所述对象目标区域包括所述对象第一子区域和所述对象第二子区域;以及根据目标渲染颜色信息和所述目标区域点云信息,生成所述对象目标区域的虚拟形象。
[0005]根据本公开的另一方面,提供了一种深度学习模型的训练方法,包括:将对象目标区域的样本视频输入深度学习模型的第一神经网络,得到样本对象第一子区域的样本第一子区域点云信息和样本对象第二子区域的样本第二子区域几何信息,所述样本视频具有真实渲染颜色标签、真实目标区域点云标签;将所述样本第一子区域点云信息和所述样本第二子区域几何信息输入深度学习模型的第二神经网络,得到所述样本对象目标区域的样本目标区域点云信息,所述样本对象目标区域包括所述样本对象 ...
【技术保护点】
【技术特征摘要】
1.一种虚拟形象生成方法,包括:根据对象第一子区域的第一子区域点云信息和对象第二子区域的第二子区域几何信息,确定对象目标区域的目标区域点云信息,所述对象目标区域包括所述对象第一子区域和所述对象第二子区域;以及根据目标渲染颜色信息和所述目标区域点云信息,生成所述对象目标区域的虚拟形象。2.根据权利要求1所述的方法,还包括:在所述根据对象第一子区域的第一子区域点云信息和对象第二子区域的第二子区域几何信息,确定对象目标区域的目标区域点云信息之前,获取所述对象目标区域的视频信息,所述视频信息包括至少一个视频帧;获取所述视频帧的相机内外参;根据所述相机内外参,对所述视频帧中表征所述对象第一子区域的第一像素区域,构建点云信息,得到所述第一子区域点云信息;以及根据所述相机内外参和所述视频帧中表征所述对象第二子区域的第二像素区域,确定所述第二子区域几何信息。3.根据权利要求2所述的方法,其中,所述根据所述相机内外参,对所述视频帧中表征所述对象第一子区域的第一像素区域,构建点云信息,得到所述第一子区域点云信息包括:根据所述相机内外参,将所述视频帧中的第一像素区域投影到三维空间,得到所述视频帧中的第一像素区域的第一三维表征结果;以及对所述至少一个视频帧中的第一像素区域的第一三维表征结果,构建点云信息,得到所述第一子区域点云信息。4.根据权利要求2所述的方法,其中,所述根据所述相机内外参和所述视频帧中表征所述对象第二子区域的第二像素区域,确定所述第二子区域几何信息包括:根据所述相机内外参,将所述视频帧中的第二像素区域投影到三维空间,得到所述视频帧中的第二像素区域的第二三维表征结果;以及根据所述至少一个视频帧中的第二像素区域的第二三维表征结果,确定所述第二子区域几何信息。5.根据权利要求1
‑
4中任一项所述的方法,其中,所述根据对象第一子区域的第一子区域点云信息和对象第二子区域的第二子区域几何信息,确定对象目标区域的目标区域点云信息包括:根据所述第一子区域点云信息和所述第二子区域几何信息,对所述对象目标区域进行几何重建,得到所述对象目标区域的目标区域几何信息;以及根据所述第一子区域点云信息、所述第二子区域几何信息和所述目标区域几何信息,对所述对象目标区域进行点云重建,得到所述目标区域点云信息。6.根据权利要求5所述的方法,其中,所述根据所述第一子区域点云信息和所述第二子区域几何信息,对所述对象目标区域进行几何重建,得到所述对象目标区域的目标区域几何信息包括:根据所述第一子区域点云信息和所述第二子区域几何信息,对所述对象目标区域中的非第二子区域进行几何重建,得到所述非第二子区域的非第二子区域几何信息;以及
根据所述非第二子区域几何信息和所述第二子区域几何信息,对所述对象目标区域进行几何重建,得到所述目标区域几何信息。7.根据权利要求5或6所述的方法,其中,所述第一子区域点云信息包括第一子区域伪法线信息、第一子区域漫反射信息;所述根据所述第一子区域点云信息、所述第二子区域几何信息和所述目标区域几何信息,对所述对象目标区域进行点云重建,得到所述目标区域点云信息包括:根据所述第一子区域伪法线信息、所述第一子区域漫反射信息和所述第二子区域几何信息,对所述对象目标区域中的非第一子区域进行渲染,得到所述非第一子区域的非第一子区域伪法线信息和非第一子区域漫反射信息;根据所述非第一子区域伪法线信息和所述非第一子区域漫反射信息,对所述非第一子区域进行点云重建,得到所述非第一子区域的非第一子区域点云信息;以及根据所述第一子区域点云信息、所述非第一子区域点云信息和所述目标区域几何信息,对所述对象目标区域进行点云重建,得到所述目标区域点云信息。8.根据权利要求5所述的方法,其中,所述目标区域点云信息包括目标区域伪法线信息、目标区域漫反射信息;所述方法还包括:在所述根据目标渲染颜色信息和所述目标区域点云信息,生成所述对象目标区域的虚拟形象之前,根据所述目标区域伪法线信息、所述目标区域漫反射信息和所述目标区域几何信息其中至少一种信息,对所述目标区域点云信息进行渲染,得到所述目标渲染颜色信息。9.根据权利要求8所述的方法,其中,所述根据所述目标区域伪法线信息、所述目标区域漫反射信息和所述目标区域几何信息其中至少一种信息,对所述目标区域点云信息进行渲染,得到所述目标渲染颜色信息包括:根据所述目标区域伪法线信息和所述目标区域漫反射信息,确定目标点云在第一视角的第一视角伪法线信息和第一视角漫反射信息,所述目标点云为所述目标区域点云信息表征的点云;根据所述第一视角伪法线信息、所述第一视角漫反射信息和所述目标区域几何信息其中至少一种信息,对所述目标点云在所述第一视角所表征的目标区域点云信息进行渲染,得到所述目标点云在所述第一视角的图像空间着色信息;以及对所述图像空间着色信息和所述第一视角漫反射信息进行融合,得到所述目标渲染颜色信息。10.根据权利要求9所述的方法,其中,所述对所述图像空间着色信息和所述第一视角漫反射信息进行融合,得到所述目标渲染颜色信息包括:对所述图像空间着色信息和所述第一视角漫反射信息进行融合,得到所述目标点云在所述第一视角的图像空间渲染颜色信息;以及根据多个视角的图像空间渲染颜色信息,确定所述目标渲染颜色信息。11.根据权利要求9或10所述的方法,其中,所述根据目标渲染颜色信息和所述目标区域点云信息,生成所述对象目标区域的虚拟形象包括:根据所述目标渲染颜色信息,对所述目标点云在第二视角所表征的目标区域点云信息进行渲染,得到所述目标点云在所述第二视角的第二视角渲染颜色信息和第二视角点云信息;
根据所述第二视角渲染颜色信息,对所述第二视角点云信息进行渲染,得到所述对象目标区域在所述第二视角的虚拟形象渲染结果;以及根据所述虚拟形象渲染结果,生成所述虚拟形象。12.根据权利要求11所述的方法,其中,所述根据所述虚拟形象渲染结果,生成所述虚拟形象包括:根据多个视角的虚拟形象渲染结果,生成所述虚拟形象。13.一种深度学习模型的训练方法,包括:将对象目标区域的样本视频输入深度学习模型的第一神经网络,得到样本对象第一子区域的样本第一子区域点云信息和样本对象第二子区域的样本第二子区域几何信息,所述样本视频具有真实渲染颜色标签、真实目标区域点云标签;将所述样本第一子区域点云信息和所述样本第二子区域几何信息输入深度学习模型的第二神经网络,得到所述样本对象目标区域的样本目标区域点云信息,所述样本对象目标区域包括所述样本对象第一子区域和所述样本对象第二子区域,所述样本目标区域点云信息包括样本目标区域漫反射信息和样本目标区域伪法线信息;将所述样本目标区域漫反射信息和样本目标区域伪法线信息输入所述深度学习模型的第三神经网络,得到样本渲染颜色信息;以及根据所述样本渲染颜色信息、所述真实渲染颜色标签、所述样本目标区域点云信息和所述真实目标区域点云标签,对所述深度学习模型进行训练,得到经训练的深度学习模型。14.根据权利要求13所述的方法,其中,所述将对象目标区域的样本视频输入深度学习模型的第一神经网络,得到样本对象第一子区域的样本第一子区域点云信息包括:根据所述样本视频,确定第一子区域稀疏点云信息;对所述第一子区域稀疏点云信息进行上采样,得到第一子区域稠密点云信息;以及根据所述第一子区域稀疏点云信息和所述第一子区域稠密点云信息其中至少之一,确定所述样本第一子区域点云信息。15.一种虚拟形象生成方法,包括:获取待处理视频,所述待处理视频中包括待处理对象;以及将所述待处理视频输入深度学习模型,得到所述待处理对象的虚拟形象,其中,所述深度学习模型是利用根据权利要求13
‑
14中任一项所述的方法训练得到的。16.一种虚拟形象生成装置,包括:目标点云确定模块,用于根据对象第一子区域的第一子区域点云信息和对象第二子区域的第二子区域几何信息,...
【专利技术属性】
技术研发人员:李杰,
申请(专利权)人:北京百度网讯科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。