本公开涉及一种三维重建方法及装置、电子设备和存储介质，所述方法包括：获取待处理的二维图像，并将待处理的二维图像输入三维重建网络中处理，得到待处理的二维图像的三维重建结果，该三维重建结果包括待处理的二维图像对应的携带位姿信息的三维点云。在本公开实施例中，通过包括有目标对象正面和背面的样本数据的训练数据集，训练得到的三维重建网络，对输入的目标对象的任意角度图像，能够准确地得到携带有对应位姿信息的三维点云。携带有对应位姿信息的三维点云。携带有对应位姿信息的三维点云。
【技术实现步骤摘要】
三维重建方法及装置、电子设备和存储介质
[0001]本公开涉及计算机
，尤其涉及一种三维重建方法及装置、电子设备和存储介质。
技术介绍
[0002]三维重建(3D Reconstruction)是指对三维物体建立适合计算机表示和处理的数学模型，三维重建技术作为在计算机中建立表达客观世界的虚拟现实的关键技术，其在医疗美容、自动驾驶、虚拟现实、行为分析、动画制作和社交娱乐等多个领域产生广泛影响。
[0003]在进行目标对象的三维重建任务中，例如针对人脸的三维重建，可基于参考表情基，通过回归系数得到正确的人脸模型；也可以通过回归稠密点云得到人脸模型；并且关于三维重建的方式存在进一步的探索，例如，可通过生成对抗网络直接生成三维隐式表达方程式。尽管关于三维重建的方式在逐渐扩展，但是，相关技术中仅着重于回归正面人脸位姿和正面人脸形状、表情的准确性。
技术实现思路
[0004]本公开提出了一种三维重建技术方案。
[0005]根据本公开的一方面，提供了一种三维重建方法，包括：获取待处理的二维图像；将所述待处理的二维图像输入三维重建网络中处理，得到所述待处理的二维图像的三维重建结果，所述三维重建结果包括所述待处理的二维图像对应的携带位姿信息的三维点云；所述三维重建网络通过训练数据集训练得到，所述训练数据集包括目标对象正面和背面的样本数据，所述样本数据包括目标对象的二维样本图像以及所述二维样本图像对应的三维点云，其中，正面表示目标对象的面部朝向拍摄设备，背面表示目标对象的面部背对拍摄设备。
[0006]在一种可能的实现方式中，所述样本数据包括目标对象正面和背面的第一样本数据、目标对象背面的第二样本数据、目标对象正面且带有表情的第三样本数据中的至少两种，所述第一样本数据、所述第二样本数据及所述第三样本数据中图像的至少部分拍摄场景不同。
[0007]在一种可能的实现方式中，所述三维重建网络的训练过程包括：将所述第一样本数据、所述第二样本数据和所述第三样本数据按照预设比例输入所述三维重建网络，训练所述三维重建网络。
[0008]在一种可能的实现方式中，所述第三样本数据在所述预设比例中占比最大。
[0009]在一种可能的实现方式中，所述第一样本数据包括：通过深度相机采集的第一样本图像和第一三维点云，和/或，通过单目相机采集的第一样本图像和第二三维点云；其中，所述通过深度相机采集的第一样本图像包括三个颜色通道信息和一个深度通道信息，所述第一三维点云根据所述通过深度相机采集的第一样本图像生成；所述通过单目相机采集的第一样本图像包括三个颜色通道信息，所述第二三维点云基于所述通过单目相机采集的第
一样本图像中关键点的标注信息生成。
[0010]在一种可能的实现方式中，所述第二样本数据包括：带有标定参数的相机阵列采集的目标对象背面的第二样本图像，以及所述第二样本图像对应的三维点云。
[0011]在一种可能的实现方式中，所述三维重建网络训练过程中使用的损失函数包括以下至少一种：指示所述三维重建网络输出的预测三维点云重建误差的第一损失函数、指示所述三维重建网络输出的所述预测三维点云平滑度的第二损失函数、指示所述三维重建网络输出的所述预测三维点云稳定度的第三损失函数、指示所述三维重建网络输出的所述预测三维点云表情准确度的第四损失函数；
[0012]其中，所述第一损失函数为基于所述预测三维点云与所述训练数据集中所述三维点云来确定的；所述第二损失函数为基于所述预测三维点云中每个点到一阶相邻点的距离，和所述训练数据集中所述三维点云中对应点序的每个点到一阶相邻点的距离之间的距离来确定的；所述第三损失函数为基于所述二维样本图像的所述预测三维点云与扰动后的所述二维样本图像的所述预测三维点云来确定的；所述第四损失函数基于所述预测三维点云的投影与所述训练数据集中的所述二维样本图像来确定的。
[0013]在一种可能的实现方式中，所述三维重建网络包括编码网络和解码网络，所述编码网络包括深度级可分离卷积层，所述解码网络包括全连接层。
[0014]在一种可能的实现方式中，所述方法还包括，基于评价函数，评价所述三维重建网络的准确度；所述评价函数包括指示所述三维重建网络输出的预测三维点云表情准确度的第一评价函数、指示所述三维重建网络输出的所述预测三维点云稳定度的第二评价函数中至少一种；
[0015]其中，所述第一评价函数为基于所述预测三维点云的投影与所述二维样本图像来确定的；所述第二评价函数为基于目标对象的静态视频相邻至少二帧分别对应的预测三维点云来确定的。
[0016]在一种可能的实现方式中，所述待处理的二维图像包括人头图像，所述三维重建网络用于对包括人头图像的二维图像进行重建，获得人头的三维重建结果，所述三维重建结果中的所述三维点云包括携带有位姿信息和/或表情信息的人头点云。
[0017]根据本公开的一方面，提供了一种三维重建装置，包括：获取模块，用于获取待处理的二维图像；三维重建模块，用于将所述待处理的二维图像输入三维重建网络中处理，得到所述待处理的二维图像的三维重建结果，所述三维重建结果包括所述待处理的二维图像对应的携带位姿信息的三维点云；所述三维重建网络通过训练数据集训练得到，所述训练数据集包括目标对象正面和背面的样本数据，所述样本数据包括目标对象的二维样本图像以及所述二维样本图像对应的三维点云，其中，正面表示目标对象的面部朝向拍摄设备，背面表示目标对象的面部背对拍摄设备。
[0018]根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
[0019]根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
[0020]在本公开实施例中，可将获取的待处理的二维图像输入三维重建网络中处理，得
到待处理的二维图像的三维重建结果，该三维重建结果可包括待处理的二维图像对应的携带位姿信息的三维点云；该三维重建网络通过训练数据集训练得到，训练数据集包括目标对象正面和背面的样本数据，样本数据包括目标对象的二维样本图像以及二维样本图像对应的三维点云，其中，正面表示目标对象的面部朝向拍摄设备，背面表示目标对象的面部背对拍摄设备。
[0021]通过这种方式，使用包括有目标对象正面和背面样本数据的训练数据集对三维重建网络进行训练，有利于提高三维重建网络的训练效果，使训练好的三维重建网络具有高精度和高适用性，训练好的三维重建网络能够实现对处于任意角度的目标对象的图像的检测，均能够准确地得到目标对象的携带有对应位姿信息的三维点云。而且，对于目标对象面部朝向拍摄设备的正面图像，有利于提高三维重建后目标对象(三维重建网络输出的三维点云)的位姿信息、面部的形状和表情的准确性；对于目标对象的面部朝向背对拍摄设备的背面图像，有利于提高三维重建后目标对象的位姿信息的准确性。
[0022]应当理解本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种三维重建方法，其特征在于，所述方法包括：获取待处理的二维图像；将所述待处理的二维图像输入三维重建网络中处理，得到所述待处理的二维图像的三维重建结果，所述三维重建结果包括所述待处理的二维图像对应的携带位姿信息的三维点云；所述三维重建网络通过训练数据集训练得到，所述训练数据集包括目标对象正面和背面的样本数据，所述样本数据包括目标对象的二维样本图像以及所述二维样本图像对应的三维点云，其中，正面表示目标对象的面部朝向拍摄设备，背面表示目标对象的面部背对拍摄设备。2.根据权利要求1所述的方法，其特征在于，所述样本数据包括目标对象正面和背面的第一样本数据、目标对象背面的第二样本数据、目标对象正面且带有表情的第三样本数据中的至少两种，所述第一样本数据、所述第二样本数据及所述第三样本数据中图像的至少部分拍摄场景不同。3.根据权利要求2所述的方法，其特征在于，所述三维重建网络的训练过程包括：将所述第一样本数据、所述第二样本数据和所述第三样本数据按照预设比例输入所述三维重建网络，训练所述三维重建网络。4.根据权利要求3所述的方法，其特征在于，所述第三样本数据在所述预设比例中占比最大。5.根据权利要求2所述的方法，其特征在于，所述第一样本数据包括：通过深度相机采集的第一样本图像和第一三维点云，和/或，通过单目相机采集的第一样本图像和第二三维点云；其中，所述通过深度相机采集的第一样本图像包括三个颜色通道信息和一个深度通道信息，所述第一三维点云根据所述通过深度相机采集的第一样本图像生成；所述通过单目相机采集的第一样本图像包括三个颜色通道信息，所述第二三维点云基于所述通过单目相机采集的第一样本图像中关键点的标注信息生成。6.根据权利要求2所述的方法，其特征在于，所述第二样本数据包括：带有标定参数的相机阵列采集的目标对象背面的第二样本图像，以及所述第二样本图像对应的三维点云。7.根据权利要求1
‑
6中任一项所述的方法，其特征在于，所述三维重建网络训练过程中使用的损失函数包括以下至少一种：指示所述三维重建网络输出的预测三维点云重建误差的第一损失函数、指示所述三维重建网络输出的所述预测三维点云平滑度的第二损失函数、指示所述三维重建网络输出的所述预测三维点云稳定度的第三损失函数、指示所述三维重建网络输出的所述预测三维点云表情准确度的第四损失函数；其中，所述第一损失函数为基于所述预测三维点云与所述训练数据集中所述三维点云来确定的；所述第二损失函数为基...
【专利技术属性】
技术研发人员：王坤，林纯泽，
申请(专利权)人：北京大甜绵白糖科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。