【技术实现步骤摘要】
本公开涉及计算机，尤其涉及一种三维重建方法及装置、电子设备和存储介质。
技术介绍
1、对场景进行稠密三维重建是自动驾驶、构建高精度地图等作业的基础。目前在三维重建领域最常用使用相机和激光雷达进行联合三维重建。
2、目前使用相机和激光雷达进行联合三维重建的方案中，大多利用激光雷达重建场景结构，再结合相机采集图像中的视觉信息进行上色，由于激光雷达通常具有360度的水平视野但采集的点云稀疏，相机的水平视野有限(如70度以下)但图像分辨率高，现有的三维重建方案没能充分结合图像分辨率高以及激光雷达点云全向视野的优势，使得三维重建结果不够完整和准确。
技术实现思路
1、本公开提出了一种三维重建技术方案。
2、根据本公开的一方面，提供了一种三维重建方法，包括：获取智能设备上设置的全景相机与激光雷达对同一场景分别采集的多张全景图像以及多组点云数据；根据所述多组点云数据，生成所述多张全景图像各自对应的初始深度图，以及生成所述多张全景图像各自对应的初始法向量图；根据所述全景相机采集各张全景图像时的相机位姿，确定出与每张全景图像相近的至少两张全景图像作为每张全景图像对应的源图像；根据所述多张全景图像各自对应的源图像、所述多张全景图像各自对应的初始深度图与初始法向量图，确定所述多张全景图像各自对应的目标深度图；根据所述多张全景图像各自对应的目标深度图，生成所述场景的三维重建结果。
3、在一种可能的实现方式中，所述根据所述多组点云数据，生成所述多张全景图像各自对应的初始深
4、在一种可能的实现方式中，所述全景相机采集有i张全景图像，每张全景图像中包含x个像素点，每张全景图像对应有y张源图像，i、x和y为正整数，其中，所述根据所述多张全景图像各自对应的源图像、所述多张全景图像各自对应的初始深度图以及初始法向量图，确定所述多张全景图像各自对应的目标深度图，包括：针对所述i张全景图像中的第i张全景图像，执行以下t次迭代处理，t为正整数：在第t次迭代处理中，按照指定的传播顺序，确定与所述第i张全景图像中第x个像素点相邻的m个近邻像素点；其中，i∈[1,i]，x∈[1,x]，t＝1,2，…，t，m≥1；基于所述第i张全景图像对应的第t代深度图以及第t代法向量图，确定所述第x个像素点对应的j组候选数据，所述j组候选数据包括：所述第x个像素点对应的深度值与法向量所构成的一组候选数据以及所述m个近邻像素点各自对应的深度值与法向量所构成的m组候选数据；其中，j＝m+1，第1代深度图为所述初始深度图，第1代法向量图为所述初始法向量图；利用所述j组候选数据中的第j组候选数据，将所述第x个像素点所在图像块分别投影到所述第i张全景图像对应的y张源图像上，得到所述第j组候选数据对应的y个投影结果，j∈[1,j]；根据所述第x个像素点所在图像块以及所述第j组候选数据对应的y个投影结果，确定所述第j组候选数据对应的匹配代价，匹配代价用于表示候选数据的准确性；根据所述j组候选数据各自对应的匹配代价，确定所述第x个像素点对应的目标候选数据；基于所述第i张全景图像中的x个像素点各自对应的目标候选数据中的深度值和法向量，确定所述第i张全景图像对应的第t+1代深度图以及第t+1代法向量图；将经t次迭代处理所得到的第t+1代深度图确定为所述第i张全景图像对应的目标深度图。
5、在一种可能的实现方式中，在t小于或等于预设次数的情况下，所述根据所述第x个像素点所在图像块以及所述第j组候选数据对应的y个投影结果，确定所述第j组候选数据对应的匹配代价，包括：基于所述第x个像素点所在图像块中像素点的像素值以及所述第j组候选数据对应的y个投影结果中每个投影结果中投影点的像素值，确定所述第x个像素点所在图像块与所述第j组候选数据对应的y个投影结果中每个投影结果之间的相似性；根据所述第x个像素点所在图像块与所述第j组候选数据对应的y个投影结果中每个投影结果之间相似性的最大值，确定所述第j组候选数据对应的光度一致性代价，所述匹配代价包括所述光度一致性代价。
6、在一种可能的实现方式中，所述第x个像素点所在图像块包含p个像素点，每个所述投影结果中包括p个投影点；在t大于所述预设次数的情况下，所述根据所述第x个像素点所在图像块以及所述第j组候选数据对应的y个投影结果，确定所述第j组候选数据对应的匹配代价，包括：针对所述y个投影结果中的第y个投影结果，根据所述第y个投影结果中p个投影点各自对应的深度值和法向量，将所述p个投影点反投影回所述第i张全景图像上，得到p个反投影点，y∈[1,y]；根据所述第x个像素点所在图像块中p个像素点的像素坐标以及所述p个反投影点的像素坐标，确定所述第y个投影结果对应的投影误差；将所述y个投影结果各自对应的投影误差中的最小值，确定为所述第j组候选数据对应的几何一致性代价；根据所述第j组候选数据对应的几何一致性代价以及所述第j组候选数据对应的光度一致性代价，确定所述第j组候选数据对应的匹配代价。
7、在一种可能的实现方式中，所述根据所述第x个像素点所在图像块中p个像素点的像素位置以及所述p个反投影点的像素位置，确定所述第y个投影结果对应的投影误差，包括：针对所述p个像素点中的第p个像素点，将所述第p个像素点的像素坐标以及所述第p个像素点对应的反投影点的像素坐标分别投影到以所述全景相机的光心为中心的单位球面上，得到所述第p个像素点在所述单位球面上的第一单位球坐标以及所述第p个像素点对应的反投影点在所述单位球面上的第二单位球坐标；根据所述第p个像素点的第一单位球坐标以及所述第p个像素点对应的反投影点的第二单位球坐标，确定所述第p个像素点的第一单位球坐标与所述第p个像素点对应的反投影点的第二单位球坐标之间的夹角；根据所述p个像素点各自在所述单位球面上的第一单位球坐标与各自对应的反投影点在所述单位球面上的第二单位球坐标之间的夹角，确定所述第y个投影结果对应的投影误差。
8、在一种可能的实现方式中，所述根据所述j组候选数据各自对应的匹配代价，确定所述第x个像素点对应的目标候选数据，包括：从所述j组候选数据中选出匹配代价最小的一组候选数据作为初代候选数据；基于所述初代候选数据，进行以下k次优化处理，k为正整数：在第k次优化处理中，基于第k次优化处理对应的扰动程度，对第k代候选数据进行随机扰动，得到中间候选数据，其中，所述随机扰动用于对候选数据中的深度值和法向量进行随机变化，k＝1,2，…，k，第1代候选数据为所述初代候选数据；利用所述中间候选数据，将所述第x个像素点所在图像块投影到所述第i张全景图像对应的y张源图像上，得到所述中间候选数据对应的y个投影结果本文档来自技高网...
【技术保护点】
1.一种三维重建方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述多组点云数据，生成所述多张全景图像各自对应的初始深度图，以及生成所述多张全景图像各自对应的初始法向量图，包括：
3.根据权利要求1所述的方法，其特征在于，所述全景相机采集有I张全景图像，每张全景图像中包含X个像素点，每张全景图像对应有Y张源图像，I、X和Y为正整数，其中，所述根据所述多张全景图像各自对应的源图像、所述多张全景图像各自对应的初始深度图以及初始法向量图，确定所述多张全景图像各自对应的目标深度图，包括：
4.根据权利要求3所述的方法，其特征在于，在t小于或等于预设次数的情况下，所述根据所述第x个像素点所在图像块以及所述第j组候选数据对应的Y个投影结果，确定所述第j组候选数据对应的匹配代价，包括：
5.根据权利要求3或4所述的方法，其特征在于，所述第x个像素点所在图像块包含P个像素点，每个所述投影结果中包括P个投影点；在t大于所述预设次数的情况下，所述根据所述第x个像素点所在图像块以及所述第j组候选数据对应的Y个投影结果，确定所述
6.根据权利要求5所述的方法，其特征在于，所述根据所述第x个像素点所在图像块中P个像素点的像素位置以及所述P个反投影点的像素位置，确定所述第y个投影结果对应的投影误差，包括：
7.根据权利要求3至6任一项所述的方法，其特征在于，所述根据所述J组候选数据各自对应的匹配代价，确定所述第x个像素点对应的目标候选数据，包括：
8.根据权利要求1所述的方法，其特征在于，所述根据所述多张全景图像各自对应的目标深度图，生成所述场景的三维重建结果，包括：
9.根据权利要求8所述的方法，其特征在于，所述对所述多张全景图像各自对应的目标深度图中的噪声深度值进行过滤，得到所述多张全景图像各自对应的过滤后深度图，包括：
10.根据权利要求8或9所述的方法，其特征在于，所述全景相机采集有I张全景图像，每张全景图像中包含X个像素点，每张全景图像对应有Y张源图像，其中，所述对所述多张全景图像各自对应的目标深度图中的噪声深度值进行过滤，得到所述多张全景图像各自对应的过滤后深度图，包括：
11.根据权利要求8至10任一项所述的方法，其特征在于，所述全景相机采集有I张全景图像，每张全景图像中包含X个像素点，每张全景图像对应有Y张源图像，其中，所述根据所述多张全景图像各自对应的过滤后深度图，生成所述场景的三维重建结果，包括：
12.一种三维重建装置，其特征在于，包括：
13.一种电子设备，其特征在于，包括：
14.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至11中任意一项所述的方法。
...【技术特征摘要】
1.一种三维重建方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述多组点云数据，生成所述多张全景图像各自对应的初始深度图，以及生成所述多张全景图像各自对应的初始法向量图，包括：
3.根据权利要求1所述的方法，其特征在于，所述全景相机采集有i张全景图像，每张全景图像中包含x个像素点，每张全景图像对应有y张源图像，i、x和y为正整数，其中，所述根据所述多张全景图像各自对应的源图像、所述多张全景图像各自对应的初始深度图以及初始法向量图，确定所述多张全景图像各自对应的目标深度图，包括：
4.根据权利要求3所述的方法，其特征在于，在t小于或等于预设次数的情况下，所述根据所述第x个像素点所在图像块以及所述第j组候选数据对应的y个投影结果，确定所述第j组候选数据对应的匹配代价，包括：
5.根据权利要求3或4所述的方法，其特征在于，所述第x个像素点所在图像块包含p个像素点，每个所述投影结果中包括p个投影点；在t大于所述预设次数的情况下，所述根据所述第x个像素点所在图像块以及所述第j组候选数据对应的y个投影结果，确定所述第j组候选数据对应的匹配代价，包括：
6.根据权利要求5所述的方法，其特征在于，所述根据所述第x个像素点所在图像块中p个像素点的像素位置以及所述p个反投影点的像素位置，确定所述第y个投影结果对应的投影误差，包括：
7....
【专利技术属性】
技术研发人员：姜翰青，张壮，周立阳，项骁骏，屠殿韬，申抒含，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。