【技术实现步骤摘要】
本申请涉及计算机视觉领域，具体而言，涉及一种图像的三维重建方法、图像的三维重建装置、计算机可读存储介质和电子装置。
技术介绍
1、立体匹配是摄影测量和计算机视觉中最基本的问题之一，应用于三维重建、自动驾驶、视觉导航等场景。其关键任务是寻找同名特征点的像素对应关系，从而得到立体像对的视差，为三维重建提供技术支持。然而，现有的立体匹配方法对纹理重复和匮乏条件下的三维重建精度较差。
2、因此，亟需一种适合纹理重复和匮乏条件下的三维重建方法。
技术实现思路
1、本申请的主要目的在于提供一种图像的三维重建方法、图像的三维重建装置、计算机可读存储介质和电子装置，以至少解决现有技术中图像纹理单一或重复导致图像的三维重建结果精度较差的问题。
2、根据本申请的一方面，提供了一种图像的三维重建方法，包括：获取待处理图像对，其中，所述待处理图像对包括目标物的双目立体像对中的左图像和所述目标物的双目立体像对中的右图像；根据所述待处理图像对，构建多个代价体，其中，所述代价体用于表征所述待处理图像对的上下文信息和所述待处理图像对的视差信息，任意两个所述代价体的尺度不同；对多个所述代价体进行代价聚合处理，得到所述目标物的三维重建结果。
3、可选地，根据所述待处理图像对，构建多个代价体，包括：将所述左图像输入卷积神经网络以对所述左图像进行特征提取，得到第一特征图，并将所述右图像输入所述卷积神经网络以对所述右图像进行特征提取，得到第二特征图；将所述第一特征图输入深度卷积神经网络以
4、可选地，所述卷积神经网络包括依次连接的三个卷积层，所述卷积层的卷积核大小为3×3，所述卷积层的输出通道数为32，所述左图像和所述右图像的高为h，所述左图像和所述右图像的宽为w，所述左图像和所述右图像的通道数为3，所述第一特征图和所述第二特征图的高为所述第一特征图和所述第二特征图的宽为所述第一特征图和所述第二特征图的通道数为32。
5、可选地，所述深度卷积神经网络包括依次连接的第一残差单元、第二残差单元、第三残差单元以及第四残差单元，并且所述第二残差单元、第三残差单元以及第四残差单元级联，一个所述残差单元包括依次连接的深度卷积层、批量归一化层以及激活函数层，所述左特征图和所述右特征图的高为所述左特征图和所述右特征图的宽为所述左特征图和所述右特征图的通道数为320。
6、可选地，对多个所述代价体进行代价聚合处理，得到所述目标物的三维重建结果，包括：将多个所述代价体输入预处理网络和多个编码器-解码器网络，得到多个视差特征，其中，所述预处理网络包括多个三维卷积层，所述编码器-解码器结构包括多个三维卷积层和多个三维反卷积层，所述视差特征为所述左图像和所述右图像的视差对应的特征；对所述视差特征进行处理，得到所述三维重建结果。
7、可选地，多个所述视差特征包括第一视差特征、第二视差特征、第三视差特征以及第四视差特征，多个所述编码器-解码器网络包括第一网络、第二网络以及第三网络，将多个所述代价体输入预处理网络和多个编码器-解码器网络，得到多个视差特征，包括：获取最大代价体，将所述最大代价体输入所述预处理网络进行下采样处理，得到所述第一视差特征，其中，所述最大代价体为多个所述代价体中尺度的最大值对应的代价体；将所述第一视差特征、多个所述代价体中除所述最大代价体外的多个所述代价体输入所述第一网络进行编码-解码处理，得到所述第二视差特征；将所述第二视差特征输入所述第二网络进行编码-解码处理，得到所述第三视差特征；将所述第三视差特征输入所述第三网络进行编码-解码处理，得到所述第四视差特征。
8、可选地，对所述视差特征进行处理，得到所述三维重建结果，包括：对所述视差特征进行三维卷积处理，得到多个第一特征；对所述第一特征进行三线性插值处理，得到多个第二特征；对所述第二特征进行回归处理，得到视差图；对所述视差图进行转换处理，得到所述三维重建结果。
9、根据本申请的另一方面，提供了一种图像的三维重建装置，包括：获取单元，用于获取待处理图像对，其中，所述待处理图像对包括目标物的双目立体像对中的左图像和所述目标物的双目立体像对中的右图像；构建单元，用于根据所述待处理图像对，构建多个代价体，其中，所述代价体用于表征所述待处理图像对的上下文信息和所述待处理图像对的视差信息，任意两个所述代价体的尺度不同；处理单元，用于对多个所述代价体进行代价聚合处理，得到所述目标物的三维重建结果。
10、根据本申请的再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行任意一种所述的方法。
11、根据本申请的又一方面，提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行任意一种所述的方法。
12、应用本申请的技术方案，首先，获取待处理图像对，待处理图像对包括目标物的双目立体像对中的左图像和目标物的双目立体像对中的右图像；再根据待处理图像对，构建多个代价体，代价体用于表征待处理图像对的上下文信息和待处理图像对的视差信息，任意两个代价体的尺度不同；然后，对多个代价体进行代价聚合处理，得到目标物的三维重建结果。通过构建出不同尺度的多尺度代价体，可以扩大整个全局上下文信息的感受范围，再对多尺度代价体进行代价聚合，可以减少视差搜索范围获取影像视差图，得到最终的三维重建结果。解决了图像纹理单一或重复导致图像的三维重建结果精度较差的问题。
本文档来自技高网...【技术保护点】
1.一种图像的三维重建方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，根据所述待处理图像对，构建多个代价体，包括：
3.根据权利要求2所述的方法，其特征在于，所述卷积神经网络包括依次连接的三个卷积层，所述卷积层的卷积核大小为3×3，所述卷积层的输出通道数为32，所述左图像和所述右图像的高为H，所述左图像和所述右图像的宽为W，所述左图像和所述右图像的通道数为3，所述第一特征图和所述第二特征图的高为所述第一特征图和所述第二特征图的宽为所述第一特征图和所述第二特征图的通道数为32。
4.根据权利要求2所述的方法，其特征在于，所述深度卷积神经网络包括依次连接的第一残差单元、第二残差单元、第三残差单元以及第四残差单元，并且所述第二残差单元、第三残差单元以及第四残差单元级联，一个所述残差单元包括依次连接的深度卷积层、批量归一化层以及激活函数层，所述左特征图和所述右特征图的高为所述左特征图和所述右特征图的宽为所述左特征图和所述右特征图的通道数为320。
5.根据权利要求1所述的方法，其特征在于，对多个所述代价体进行代价聚合处理
6.根据权利要求5所述的方法，其特征在于，多个所述视差特征包括第一视差特征、第二视差特征、第三视差特征以及第四视差特征，多个所述编码器-解码器网络包括第一网络、第二网络以及第三网络，将多个所述代价体输入预处理网络和多个编码器-解码器网络，得到多个视差特征，包括：
7.根据权利要求5所述的方法，其特征在于，对所述视差特征进行处理，得到所述三维重建结果，包括：
8.一种图像的三维重建装置，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1至7中任意一项所述的方法。
...【技术特征摘要】
1.一种图像的三维重建方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，根据所述待处理图像对，构建多个代价体，包括：
3.根据权利要求2所述的方法，其特征在于，所述卷积神经网络包括依次连接的三个卷积层，所述卷积层的卷积核大小为3×3，所述卷积层的输出通道数为32，所述左图像和所述右图像的高为h，所述左图像和所述右图像的宽为w，所述左图像和所述右图像的通道数为3，所述第一特征图和所述第二特征图的高为所述第一特征图和所述第二特征图的宽为所述第一特征图和所述第二特征图的通道数为32。
4.根据权利要求2所述的方法，其特征在于，所述深度卷积神经网络包括依次连接的第一残差单元、第二残差单元、第三残差单元以及第四残差单元，并且所述第二残差单元、第三残差单元以及第四残差单元级联，一个所述残差单元包括依次连接的深度卷积层、批量归一化层以及激活函数层，所述左特征图和所述右特征图的高为所述左特征图和所述右特征图的宽为所述左特征图和所述右特征图的通道数为320。
【专利技术属性】
技术研发人员：陈凡，曾红久，杨军，孙俊林，尚明，燕建华，王斌，
申请(专利权)人：国能神东煤炭集团有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。