三维重建方法、装置、电子设备及存储介质制造方法及图纸

本申请示出了一种三维重建方法、装置、电子设备及存储介质，其中三维重建方法包括：获取目标物体图片，并对目标物体图片中包含目标物体的区域以及不包含目标物体的区域分别进行处理，得到参考图片；根据参考图片以及重建图片，确定目标物体的三维重建模型；其中，重建图片通过对预设的初始重建模型渲染获得，初始重建模型中包含有姿势参数、形状参数以及误差参数。本申请实施例提供的三维重建方法采用的目标物体图片可以使用通用相机获得，不再依赖于Kinect或其它特殊设备，从而使该方法适用于通用场景；并且通过在初始重建模型中引入误差参数，使得该方法能够精确恢复三维模型，并且可以恢复三维模型的微观细节。

【技术实现步骤摘要】
三维重建方法、装置、电子设备及存储介质
本申请涉及计算机
，尤其涉及一种三维重建方法、装置、电子设备及存储介质。
技术介绍
三维重建可以实现对场景、物体以及人体等的立体复制，例如人体三维重建的目的在于重建人的三维模型，普遍应用在虚拟/增强现实、人机交互、虚拟试衣、动作识别以及辅助驾驶等领域。人体本身具有高度的灵活性导致自遮挡严重，同时人体穿着、服饰以及外部环境等导致外部遮挡严重，这些因素均使得三维人体重建成为一项极具挑战性的研究课题。目前已有基于点云或RGB-D相机的三维重建技术，但这些技术依赖于特殊的昂贵设备(如Kinect设备)并且计算量较大，严重限制了这些技术的使用场景和通用性。另外还有采用深度神经网络从RGB图片出发拟合人体模型的方法，该方法适用于通用场景却无法重建人体的微观细节。
技术实现思路
为克服相关技术中存在的问题，本申请提供一种三维重建方法、装置、电子设备及存储介质。根据本申请的第一方面，提供一种三维重建方法，所述方法包括：获取目标物体图片，并对所述目标物体图片中包含目标物体的区域以及不包含目标物体的区域分别进行处理，得到参考图片；根据所述参考图片以及重建图片，确定目标物体的三维重建模型；其中，所述重建图片通过对预设的初始重建模型渲染获得，所述初始重建模型中包含有姿势参数、形状参数以及误差参数。在一个可选的实现方式中，所述目标物体图片包括在多个角度获得的目标物体的图片。在一个可选的实现方式中，所述对所述目标物体图片中包含目标物体的区域以及不包含目标物体的区域分别进行处理，得到参考图片的步骤，包括：采用分割模型对所述目标物体图片进行分割，得到所述包含目标物体的区域以及所述不包含目标物体的区域；将所述包含目标物体的区域和所述不包含目标物体的区域分别进行二值化处理，得到所述参考图片。在一个可选的实现方式中，在所述根据所述参考图片以及重建图片，确定目标物体的三维重建模型的步骤之前，还包括：采用SMPL模型，对所述姿势参数和所述形状参数进行拟合，获得第一模型；采用所述误差参数对所述第一模型进行调整，获得所述初始重建模型。在一个可选的实现方式中，所述根据所述参考图片以及重建图片，确定目标物体的三维重建模型的步骤，包括：比较所述参考图片以及所述重建图片，确定所述三维重建模型的第一损失函数和第二损失函数；其中，所述第一损失函数表征所述参考图片与所述重建图片之间的分割误差损失，所述第二损失函数表征所述重建图片的正则化损失；采用优化器，对所述第一损失函数与所述第二损失函数之和进行优化，确定所述姿势参数、所述形状参数和所述误差参数三者的各参数值；将根据所述姿势参数、所述形状参数和所述误差参数三者的各参数值获得的所述初始重建模型，确定为所述目标物体的三维重建模型。在一个可选的实现方式中，在所述对所述第一损失函数与所述第二损失函数之和进行优化，确定所述姿势参数、所述形状参数和所述误差参数三者的各参数值的步骤之前，还包括：对所述目标物体图片进行处理，确定所述姿势参数和所述形状参数的初始值；所述对所述第一损失函数与所述第二损失函数之和进行优化，确定所述姿势参数、所述形状参数和所述误差参数三者的各参数值的步骤，包括：以所述姿势参数和所述形状参数的初始值为起始，对所述第一损失函数与所述第二损失函数之和进行迭代优化，确定所述姿势参数、所述形状参数和所述误差参数三者的各参数值。根据本申请的第二方面，提供一种三维重建装置，所述装置包括：获取模块，被配置为获取目标物体图片，并对所述目标物体图片中包含目标物体的区域以及不包含目标物体的区域分别进行处理，得到参考图片；重建模块，被配置为根据所述参考图片以及重建图片，确定目标物体的三维重建模型；其中，所述重建图片通过对预设的初始重建模型渲染获得，所述初始重建模型中包含有姿势参数、形状参数以及误差参数。在一个可选的实现方式中，所述目标物体图片包括在多个角度获得的目标物体的图片。在一个可选的实现方式中，所述获取模块包括：分割单元，被配置为采用分割模型对所述目标物体图片进行分割，得到所述包含目标物体的区域以及所述不包含目标物体的区域；处理单元，被配置为将所述包含目标物体的区域和所述不包含目标物体的区域分别进行二值化处理，得到所述参考图片。在一个可选的实现方式中，所述装置还包括：拟合模块，被配置为采用SMPL模型，对所述姿势参数和所述形状参数进行拟合，获得第一模型；调整模块，被配置为采用所述误差参数对所述第一模型进行调整，获得所述初始重建模型。在一个可选的实现方式中，所述重建模块包括：比较单元，被配置为比较所述参考图片以及所述重建图片，确定所述三维重建模型的第一损失函数和第二损失函数；其中，所述第一损失函数表征所述参考图片与所述重建图片之间的分割误差损失，所述第二损失函数表征所述重建图片的正则化损失；优化单元，被配置为采用优化器，对所述第一损失函数与所述第二损失函数之和进行优化，确定所述姿势参数、所述形状参数和所述误差参数三者的各参数值；重建单元，被配置为将根据所述姿势参数、所述形状参数和所述误差参数三者的各参数值获得的所述初始重建模型，确定为所述目标物体的三维重建模型。在一个可选的实现方式中，所述重建模块还包括：初始化单元，被配置为对所述目标物体图片进行处理，确定所述姿势参数和所述形状参数的初始值；所述优化单元还被配置为以所述姿势参数和所述形状参数的初始值为起始，对所述第一损失函数与所述第二损失函数之和进行迭代优化，确定所述姿势参数、所述形状参数和所述误差参数三者的各参数值。根据本申请的第三方面，提供一种电子设备，所述电子设备包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行如第一方面所述的三维重建方法。根据本申请的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面所述的三维重建方法。根据本申请的第五方面，提供一种计算机程序产品，当所述计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面所述的三维重建方法。本申请提供的技术方案可以包括以下有益效果：在本申请中，提供了一种三维重建方法、装置、电子设备及存储介质，其中三维重建方法包括：获取目标物体图片，并对目标物体图片中包含目标物体的区域以及不包含目标物体的区域分别进行处理，得到参考图片；根据参考图片以及重建图片，确定目标物体的三维重建模型；其中，重建图片通过对预设的初始重建模型渲染获得，初始重建模型中包含有姿势参数、形状参数以及误差参数。本申请实施例提供的三维重建方法采用的目标物体图片可以使用通用相机获得，不再依赖于Kinect或其它特殊设备，从而使该方法适用于通用场景；并且通过在初始重建模型中引入误差参数，使得该方法能够精确恢复三维模型，并且可以恢复三维模型的微观细节。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。图1是本申请示出的一种三维重建方法的步骤流程图。图2是本申请示出的一种获取参考图片的步骤流程图。图3是本申请示出的一种获取初始重建模型本文档来自技高网...

【技术保护点】
1.一种三维重建方法，其特征在于，所述方法包括：获取目标物体图片，并对所述目标物体图片中包含目标物体的区域以及不包含目标物体的区域分别进行处理，得到参考图片；根据所述参考图片以及重建图片，确定目标物体的三维重建模型；其中，所述重建图片通过对预设的初始重建模型渲染获得，所述初始重建模型中包含有姿势参数、形状参数以及误差参数。

【技术特征摘要】
1.一种三维重建方法，其特征在于，所述方法包括：获取目标物体图片，并对所述目标物体图片中包含目标物体的区域以及不包含目标物体的区域分别进行处理，得到参考图片；根据所述参考图片以及重建图片，确定目标物体的三维重建模型；其中，所述重建图片通过对预设的初始重建模型渲染获得，所述初始重建模型中包含有姿势参数、形状参数以及误差参数。2.根据权利要求1所述的三维重建方法，其特征在于，所述目标物体图片包括在多个角度获得的目标物体的图片。3.根据权利要求1所述的三维重建方法，其特征在于，所述对所述目标物体图片中包含目标物体的区域以及不包含目标物体的区域分别进行处理，得到参考图片的步骤，包括：采用分割模型对所述目标物体图片进行分割，得到所述包含目标物体的区域以及所述不包含目标物体的区域；将所述包含目标物体的区域和所述不包含目标物体的区域分别进行二值化处理，得到所述参考图片。4.根据权利要求1所述的三维重建方法，其特征在于，在所述根据所述参考图片以及重建图片，确定目标物体的三维重建模型的步骤之前，还包括：采用SMPL模型，对所述姿势参数和所述形状参数进行拟合，获得第一模型；采用所述误差参数对所述第一模型进行调整，获得所述初始重建模型。5.根据权利要求1所述的三维重建方法，其特征在于，所述根据所述参考图片以及重建图片，确定目标物体的三维重建模型的步骤，包括：比较所述参考图片以及所述重建图片，确定所述三维重建模型的第一损失函数和第二损失函数；其中，所述第一损失函数表征所述参考图片与所述重建图片之间的分割误差损失，所述第二损失函数表征所述重建图片的正则化损失；采用优化器，对所述第一损失函数与所述第二损失函数之和进行优化，确定所述姿势参数、所述形状参数和...

【专利技术属性】
技术研发人员：张雄，李强，郑文，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京,11