【技术实现步骤摘要】
对象重建方法、对象重建模型的训练方法、装置及设备
[0001]本公开涉及人工智能
，尤其涉及计算机视觉、增强现实、虚拟现实和深度学习
，具体涉及对象重建方法、对象重建模型的训练方法、装置、电子设备、存储介质以及程序产品。
技术介绍
[0002]计算机视觉技术是一门研究如何使用计算机“看”的科学。可以将计算机视觉技术应用于图像识别、图像语义理解、图像检索、三维对象重建、虚拟现实、同步定位与地图构建等场景中。针对每个场景，如何利用计算机视觉技术使得生成的结果合理且精准，值得探索。
技术实现思路
[0003]本公开提供了一种对象重建方法、对象重建模型的训练方法、装置、电子设备、存储介质以及程序产品。
[0004]根据本公开的一方面，提供了一种对象重建方法，包括：对待处理图像序列中的多个待处理图像分别进行特征提取，得到初始特征图序列，其中，上述待处理图像序列包括待重建的对象；针对上述初始特征图序列中的每个初始特征图，基于上述初始特征图，生成关于上述对象的全局特征和局部特征组，得到全局特征序列和局部特征组序列；基于上述全局特征序列和局部特征组序列，生成用于重建上述对象的对象模型参数序列以及基于上述对象模型参数序列对上述对象进行重建，得到目标模型序列。
[0005]根据本公开的另一方面，提供了一种对象重建模型的训练方法，包括：对样本图像序列中的多个样本图像分别进行特征提取，得到样本初始特征图序列，其中，上述样本图像序列包括待重建的样本对象；针对上述样本初始特征图序列中的每个样本初始特征...
【技术保护点】
【技术特征摘要】
1.一种对象重建方法，包括：对待处理图像序列中的多个待处理图像分别进行特征提取，得到初始特征图序列，其中，所述待处理图像序列包括待重建的对象；针对所述初始特征图序列中的每个初始特征图，基于所述初始特征图，生成关于所述对象的全局特征和局部特征组，得到全局特征序列和局部特征组序列；基于所述全局特征序列和局部特征组序列，生成用于重建所述对象的对象模型参数序列；以及基于所述对象模型参数序列对所述对象进行重建，得到目标模型序列。2.根据权利要求1所述的方法，其中，所述基于所述全局特征序列和局部特征组序列，生成用于重建所述对象的对象模型参数序列，包括：基于所述全局特征序列和所述局部特征组序列，得到第一潜在编码组序列；基于所述第一潜在编码组序列，生成全局潜在编码；基于所述全局潜在编码和所述第一潜在编码组序列，得到第二潜在编码组序列；以及基于所述第二潜在编码组序列，生成所述对象模型参数序列。3.根据权利要求2所述的方法，其中，所述基于所述全局特征序列和所述局部特征组序列，得到第一潜在编码组序列，包括：针对所述全局特征序列中的每个全局特征，从所述局部特征组序列中确定与所述全局特征相匹配的目标局部特征组，其中，所述全局特征和与所述全局特征相匹配的所述目标局部特征组为同一待处理图像的图像特征；基于所述目标局部特征组，得到第一融合特征；以及基于预定数量个所述全局特征和所述第一融合特征，得到第一潜在编码组。4.根据权利要求3所述的方法，其中，所述基于预定数量个所述全局特征和所述第一融合特征，得到第一潜在编码组，包括：重复执行下述操作，直至当前轮次等于第一预定轮次阈值，将当前轮次第一潜在编码组作为所述第一潜在编码组：在确定所述当前轮次小于所述第一预定轮次阈值的情况下，基于所述第一融合特征和所述当前轮次第一潜在编码组，得到下一轮次第一潜在编码组。5.根据权利要求4所述的方法，其中，所述基于预定数量个所述全局特征和所述第一融合特征，得到第一潜在编码组，还包括：基于所述第一融合特征和预定数量个所述全局特征，得到第一轮次第一潜在编码组。6.根据权利要求2所述的方法，其中，所述基于所述第一潜在编码组序列，生成全局潜在编码，包括：针对所述第一潜在编码组序列中的每个第一潜在编码组，基于所述第一潜在编码组，得到平均后的第一潜在编码；以及将与所述第一潜在编码组序列一一对应的平均后的第一潜在编码序列进行拼接，得到所述全局潜在编码。7.根据权利要求2所述的方法，其中，所述基于所述全局潜在编码和所述第一潜在编码组序列，得到第二潜在编码组序列，包括：基于所述全局潜在编码，生成第二融合特征；以及
针对所述第一潜在编码组序列中的每个第一潜在编码组，基于所述第二融合特征和所述第一潜在编码组，得到所述第二潜在编码组。8.根据权利要求7所述的方法，其中，所述基于所述第二融合特征和所述第一潜在编码组，得到所述第二潜在编码组，包括：重复执行下述操作，直至当前轮次等于第二预定轮次阈值，将当前轮次第二潜在编码组作为所述第二潜在编码组：在确定所述当前轮次小于所述第二预定轮次阈值的情况下，基于所述第二融合特征和所述当前轮次第二潜在编码组，得到下一轮次第二潜在编码组。9.根据权利要求8所述的方法，其中，所述基于所述第二融合特征和所述第一潜在编码组，得到所述第二潜在编码组，还包括：基于所述第二融合特征和所述第一潜在编码组，得到第一轮次第二潜在编码组。10.根据权利要求1至9中任一项所述的方法，其中，所述初始特征图包括背景区域和包含所述对象的前景区域，所述基于所述初始特征图，生成关于所述对象的全局特征和局部特征组，包括：基于所述初始特征图，生成掩膜图，其中，所述掩膜图包括多个像素点以及与多个像素点一一对应的像素值；基于所述多个像素点各自的像素值，从所述多个像素点中确定多个目标像素点，其中，所述目标像素点用于表征所述对象的像素点；以及基于多个所述目标像素点和所述初始特征图，确定所述全局特征和所述局部特征组。11.根据权利要求10所述的方法，其中，所述基于多个所述目标像素点和所述初始特征图，确定所述全局特征，包括：基于所述初始特征图，确定多个所述目标像素点各自的特征向量；以及基于多个所述目标像素点的第一像素点数量和多个所述目标像素点各自的特征向量，确定所述全局特征。12.根据权利要求10或11所述的方法，其中，所述基于所述目标像素点和所述初始特征图，确定所述局部特征组，包括：基于多个所述目标像素点彼此之间的位置关系，对多个所述目标像素点进行分类，得到多个像素点集合，其中，每个所述像素点集合包括同一类别的多个所述目标像素点；以及针对所述多个像素点集合中的每个像素点集合，基于所述初始特征图，确定与所述像素点集合相对应的局部特征，得到所述局部特征组。13.根据权利要求12所述的方法，其中，所述基于所述初始特征图，确定与所述像素点集合相对应的局部特征，包括：针对所述像素点集合中的每个目标像素点，基于所述初始特征图，确定所述目标像素点的特征向量；以及基于所述像素点集合中的多个所述目标像素点的第二像素点数量和多个所述目标像素点各自的所述特征向量，确定所述局部特征。14.根据权利要求10所述的方法，其中，所述基于所述初始特征图，生成掩膜图，包括：对所述初始特征图进行卷积，得到卷积后特征图；对所述卷积后特征图进行激活，得到激活后特征图；以及
对所述激活后特征图进行规范化操作，得到所述掩膜图。15.一种对象重建模型的训练方法，包括：对样本图像序列中的多个样本图像分别进行特征提取，得到样本初始特征图序列，其中，所述样本图像序列包括待重建的样本对象；针对所述样本初始特征图序列中的每个样本初始特征图，基于所述样本初始特征图，生成关于所述样本对象的样本全局特征和样本局部特征组，得到样本全局特征序列和样本局部特征组序列；基于所述样本全局特征序列和样本局部特征组序列，生成用于重建所述样本对象的样本对象模型参数序列；以及利用所述样本对象模型参数序列和与所述样本图像序列相匹配的样本对象模型参数标签序列，训练所述对象重建模型。16.根据权利要求15所述的方法，其中，所述基于所述样本全局特征序列和样本局部特征组序列，生成用于重建所述样本对象的样本对象模型参数序列，包括：基于所述样本全局特征序列和所述样本局部特征组序列，得到样本第一潜在编码组序列；基于所述样本第一潜在编码组序列，生成样本全局潜在编码；基于所述样本全局潜在编码和所述样本第一潜在编码组序列，得到样本第二潜在编码组序列；以及基于所述样本第二潜在编码组序列，生成所述样本对象模型参数序列。17.根据权利要求16所述的方法，其中，所述基于所述样本全局特征序列和所述样本局部特征组序列，得到样本第一潜在编码组序列，包括：针对所述样本全局特征序列中的每个样本全局特征，从所述样本局部特征组序列中确定与所述样本全局特征相匹配的样本目标局部特征组，其中，所述样本全局特征和与所述样本全局特征相匹配的所述样本目标局部特征组为同一样本图像的图像特征；基于所述样本目标局部特征组，得到样本第一融合特征；以及基于预定数量个所述样本全局特征和所述样本第一融合特征，得到样本第一潜在编码组。18.根据权利要求17所述的方法，其中，所述基于预定数量个所述样本全局特征和所述样本第一融合特征，得到样本第一潜在编码组，包括：重复执行下述操作，直至当前轮次等于所述第三预定轮次阈值，将当前轮次样本第一潜在编码组作为所述样本第一潜在编码组：在确定所述当前轮次小于所述第三预定轮次阈值的情况下，基于所述样本第一融合特征和所述当前轮次样本第一潜在编码组，得到下一轮次样本第一潜在编码组。19.根据权利要求18所述的方法，其中，所述基于预定数量个所述样本全局特征和所述样本第一融合特征，得到样本第一潜在编码组，还包括：基于所述样本第一融合特征和预定数量个所述样本全局特征，得到第一轮次样本第一潜在编码组。20.根据权利要求16所述的方法，其中，所述基于所述样本第一潜在编码组序列，生成
样本全局潜在编码，包括：针对所述样本第一潜在编码组序列中的每个样本第一潜在编码组，基于所述样本第一潜在编码组，得到平均后的样本第一潜在编码；以及将与所述样本第一潜在编码组序列一一对应的平均后的样本第一潜在编码序列进行拼接，得到所述样本全局潜在编码。21.根据权利要求16所述的方法，其中，所述基于所述样本全局潜在编码和所述样本第一潜在编码组序列，得到样本第二潜在编码组序列，包括：基于所述样本全局潜在编码，生成样本第二融合特征；以及针对所述样本第一潜在编码组序列中的每个样本第一潜在编码组，基于所述样本第二融合特征和所述样本第一潜在编码组，得到所述样本第二潜在编码组。22.根据权利要求21所述的方法，其中，所述基于所述样本第二融合特征和所述样本第一潜在编码组，得到所述样本第二潜在编码组，包括：重复执行下述操作，直至当前轮次等于所述第四预定轮次阈值，将当前轮次样本第二潜在编码组作为所述样本第二潜在编码组：在确定所述当前轮次小于所述第四预定轮次阈值的情况下，基于所述样本第二融合特征和所述当前轮次样本第二潜在编码组，得到下一轮次样本第二潜在编码组。23.根据权利要求22所述的方法，其中，所述基于所述样本第二融合特征和所述样本第一潜在编码组，得到所述样本第二潜在编码组，还包括：基于所述样本第二融合特征和所述样本第一潜在编码组，得到第一轮次样本第二潜在编码组。24.根据权利要求15至23中任一项所述的方法，其中，所述样本对象模型参数序列中的每个样本对象模型参数包括样本姿态参数和样本体态参数，所述方法还包括：所述样本对象模型参数序列中的每个样本对象模型参数，基于所述样本姿态参数和所述样本体态参数，生成样本目标模型；以及基于所述样本目标模型，确定样本三维关键点信息。25.根据权利要求24所述的方法，其中，所述利用所述样本对象模型参数序列和与所述样本图像序列相匹配的样本对象模型参数标签序列，训练所述对象重建模型，包括：基于所述样本对象模型参数序列和与所述样本图像序列相匹配的样本对象模型参数标签序列，生成第一损失值；基于与所述样本图像序列相匹配的样本三维关键点信息序列和与所述样本图像序列相匹配的关键点标签，生成第二损失值；以及基于所述第一损失值和所述第二损失值，训练所述对象重建模型。26.根据权利要求15至25中任一项所述的方法，其中，基于所述样本初始特征图，生成关于所述样本对象的样本全局特征和多个样本局部特征，包括：基于所述样本初始特征图，生成样本掩膜图，其中，所述样本掩膜图包括多个样本像素点以及与多个样本像素点一一对应的像素值；基于所述样本掩膜图，从所述多个样本像素点中确定多个样本目标像素点，其中，所述样本目标像素点用于表征所述样本对象的像素点；以及基于多个所述目标像素点和所述样本初始特征图，确定所述样本全局特征和所述多个
样本局部特征。27.根据权利要求26所述的方法，其中，所述基于多个所述目标样本像素点和所述样本初始特征图，确定所述样本全局特征，包括：基于所述样本初始特征图，确定多个所述样本目标像素点各自的样本特征向量；以及基于多个所述样本目标像素点的样本第一像素点数量和多个所述样本目标像素点各自的所述样本特征向量，确定所述样本全局特征。28.根据权利要求26或27所述的方法，其中，所述基于所述样本目标像素点和所述样本初始特征图，确定所述多个样本局部特征，包括：基于多个所述样本目标像素点彼此之间的位置关系，对多个所述样本目标像素点进行分类，得到多个样本像素点集合，其中，每个所述样本像素点集合包括同一类别的多个所述样本目标像素点；以及针对所述多个样本像素点集合中的每个样本像素点集合，基于所述样本初始特征图，确定与所述样本像素点集合相对应的样本局部特征，得到所述多个样本局部特征。29.根据权利要求28所述的方法，其中，所述基于所述样本初始特征图，确定与所述样本像素点集合相对应的样本局部特征，包括：针对所述样本像素点集合中的每个样本目标像素点，基于所述样本初始特征图，确定所述样本目标像素点的样本特征向量；以及基于所述样本像素点集合中的多个所述样本目标像素点的样本第二像素点数量和多个所述样本目标像素点各自的所述样本特征向量，确定所述样本局部特征。30.根据权利要求26所述的方法，其中，所述基于所述样本初始特征图，生成样本掩膜图，包括：对所述样本初始特征图进行卷积，得到样本卷积后特征图；对所述样本卷积后特征图进行激活，得到样本激活后特征图；以及对所述样本激活后特征图进行规范化操作，得到所述样本掩膜图。31.一种对象重建装置，包括：特征提取模块，用于对待处理图像序列中的多个待处理图像分别进行特征提取，得到初始特征图序列，其中，所述待处理图像序列包括待重建...
【专利技术属性】
技术研发人员：吕以豪，卢飞翔，李龙腾，张良俊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。