本发明专利技术提供一种点云重建方法、装置、电子设备和存储介质，其中方法包括：基于目标相机和邻域相机的位姿信息，确定目标相机的待重建图像在邻域相机的候选匹配区域内的候选图像；基于候选图像与待重建图像之间的相似度，从候选图像中确定待重建图像的配对图像；基于待重建图像和配对图像的位置信息，以及目标相机和邻域相机的位姿信息，确定待重建图像的深度信息，并基于待重建图像的深度信息进行点云重建，克服了传统方案中点云重建效果取决于相机位姿的准确度的缺陷，能够在已知点云的基础上，通过设定区域范围，可以点云层面上对场景进行划分，从而实现对特定区域的点云重建，并且还为后续的网格化操作提供了极大的便利。且还为后续的网格化操作提供了极大的便利。且还为后续的网格化操作提供了极大的便利。
【技术实现步骤摘要】
点云重建方法、装置、电子设备和存储介质
[0001]本专利技术涉及图像处理
，尤其涉及一种点云重建方法、装置、电子设备和存储介质。
技术介绍
[0002]目前，三维相机能够重建出目标场景的三维点云，相较于常规的二维相机多了一个深度维度信息，为各种后端开发提供了额外的数据处理自由度，具有重要的应用价值。而随着3D(Three Dimension)相关产业的蓬勃发展，三维相机和三维重建技术逐渐成为计算机视觉相关领域中不可或缺的基础硬件设备和数据处理核心技术，例如，模型构建领域、深度学习领域、三维动画制作领域等。
[0003]目前的三维点云重建方案大多是在未知相机位姿的基础上进行的，而相机位姿的估算通常采用特征点匹配的方法，该方法对重建场景的要求较高，当重建场景不能满足要求时，例如，弱纹理的场景、多重复纹理的场景等，往往无法准确估算出相机位姿，又由于相机位姿对于点云的生成极为重要，进而使得点云重建效果不佳。
技术实现思路
[0004]本专利技术提供一种点云重建方法、装置、电子设备和存储介质，用以解决现有技术中点云重建效果依赖于相机位姿的准确度的缺陷。
[0005]本专利技术提供一种点云重建方法，包括：
[0006]基于目标相机和邻域相机的位姿信息，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像；
[0007]基于所述候选图像与所述待重建图像之间的相似度，从所述候选图像中确定所述待重建图像的配对图像；
[0008]基于所述待重建图像和所述配对图像的位置信息，以及所述目标相机和邻域相机的位姿信息，确定所述待重建图像的深度信息，并基于所述待重建图像的深度信息进行点云重建。
[0009]根据本专利技术提供的一种点云重建方法，所述基于目标相机和邻域相机的位姿信息，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像，包括：
[0010]基于目标相机和邻域相机的位姿信息，确定所述目标相机与所述邻域相机之间的变化矩阵；
[0011]基于所述目标相机与所述邻域相机之间的变化矩阵，确定所述目标相机的待重建图像对应射线在所述邻域相机的坐标系下的投影；
[0012]基于所述投影，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像。
[0013]根据本专利技术提供的一种点云重建方法，所述基于所述投影，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像，包括：
[0014]在所述投影上设置滑窗，基于所述滑窗的滑动范围，确定所述目标相机的待重建图像在所述邻域相机内的候选匹配区域，并确定所述候选匹配区域内的候选图像；
[0015]所述滑窗的尺寸基于所述目标相机的待重建图像的尺寸确定。
[0016]根据本专利技术提供的一种点云重建方法，所述基于所述候选图像与所述待重建图像之间的相似度，从所述候选图像中确定所述待重建图像的配对图像，包括：
[0017]基于所述候选图像和所述待重建图像的灰度信息，确定所述候选图像与所述待重建图像之间的结构相似度和/或位置相似度；
[0018]基于所述候选图像与所述待重建图像之间的结构相似度和/或位置相似度，从所述候选图像中确定所述待重建图像的配对图像。
[0019]根据本专利技术提供的一种点云重建方法，所述基于所述待重建图像和所述配对图像的位置信息，以及所述目标相机和邻域相机的位姿信息，确定所述待重建图像的深度信息，包括：
[0020]基于所述待重建图像和所述配对图像的位置信息，以及所述目标相机和邻域相机的位姿信息，分别确定第一夹角和第二夹角，所述第一夹角由所述目标相机的待重建图像对应射线，和所述目标相机与所述邻域相机的光心连线构成，所述第二夹角由所述邻域相机的配对图像对应射线，和所述目标相机与所述邻域相机的光心连线构成；
[0021]基于所述第一夹角和所述第二夹角，确定所述待重建图像的深度信息。
[0022]根据本专利技术提供的一种点云重建方法，所述基于所述第一夹角和所述第二夹角，确定所述待重建图像的深度信息，包括：
[0023]基于相对于各邻域相机及其配对图像的所述第一夹角和所述第二夹角，以及所述目标相机与各邻域相机的光心连线，确定相对于各邻域相机的配对图像的候选深度信息；
[0024]基于相对于各邻域相机的配对图像的候选深度信息，以及各邻域相机的配对图像与所述待重建图像之间的相似度，确定所述待重建图像的深度信息。
[0025]根据本专利技术提供的一种点云重建方法，所述基于所述待重建图像的深度信息进行点云重建，包括：
[0026]基于所述待重建图像的深度信息，确定所述目标相机的三维点云；
[0027]基于所述目标相机的三维点云，以及与世界坐标系之间的变化矩阵，确定所述目标相机在世界坐标系下的三维点云；
[0028]基于点云融合约束，对各目标相机在世界坐标系下的三维点云进行融合，得到重建点云；
[0029]所述点云融合约束包括相似度约束、可视性约束、色彩相关性约束、特定区域约束中的至少一种。
[0030]本专利技术还提供一种点云重建装置，包括：
[0031]候选图像确定单元，用于基于目标相机和邻域相机的位姿信息，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像；
[0032]配对图像确定单元，用于基于所述候选图像与所述待重建图像之间的相似度，从所述候选图像中确定所述待重建图像的配对图像；
[0033]点云重建单元，用于基于所述待重建图像和所述配对图像的位置信息，以及所述目标相机和邻域相机的位姿信息，确定所述待重建图像的深度信息，并基于所述待重建图
像的深度信息进行点云重建。
[0034]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的点云重建方法的步骤。
[0035]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的点云重建方法的步骤。
[0036]本专利技术提供的点云重建方法、装置、电子设备和存储介质，根据目标相机和邻域相机的位姿信息，确定目标相机的待重建图像在邻域相机的候选匹配区域内的候选图像，并根据候选图像与待重建图像之间的相似度，从候选图像中确定待重建图像的配对图像，基于相似度的匹配方式，不同于传统方案中基于归一化互相关的得分准则，明显提升了匹配的准确率，基于待重建图像及其配对图像的位置信息，以及目标相机及其邻域相机的位姿信息，确定待重建图像的深度信息，并基于待重建图像的深度信息进行点云重建，克服了传统方案中点云重建效果取决于相机位姿的准确度的缺陷，能够在已知点云的基础上，通过设定区域范围，实现特定区域的点云重建，并且还为后续的网格化操作提供了极大的便利。
附图说明
[0037]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种点云重建方法，其特征在于，包括：基于目标相机和邻域相机的位姿信息，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像；基于所述候选图像与所述待重建图像之间的相似度，从所述候选图像中确定所述待重建图像的配对图像；基于所述待重建图像和所述配对图像的位置信息，以及所述目标相机和邻域相机的位姿信息，确定所述待重建图像的深度信息，并基于所述待重建图像的深度信息进行点云重建。2.根据权利要求1所述的点云重建方法，其特征在于，所述基于目标相机和邻域相机的位姿信息，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像，包括：基于目标相机和邻域相机的位姿信息，确定所述目标相机与所述邻域相机之间的变化矩阵；基于所述目标相机与所述邻域相机之间的变化矩阵，确定所述目标相机的待重建图像对应射线在所述邻域相机的坐标系下的投影；基于所述投影，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像。3.根据权利要求2所述的点云重建方法，其特征在于，所述基于所述投影，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像，包括：在所述投影上设置滑窗，基于所述滑窗的滑动范围，确定所述目标相机的待重建图像在所述邻域相机内的候选匹配区域，并确定所述候选匹配区域内的候选图像；所述滑窗的尺寸基于所述目标相机的待重建图像的尺寸确定。4.根据权利要求1所述的点云重建方法，其特征在于，所述基于所述候选图像与所述待重建图像之间的相似度，从所述候选图像中确定所述待重建图像的配对图像，包括：基于所述候选图像和所述待重建图像的灰度信息，确定所述候选图像与所述待重建图像之间的结构相似度和/或位置相似度；基于所述候选图像与所述待重建图像之间的结构相似度和/或位置相似度，从所述候选图像中确定所述待重建图像的配对图像。5.根据权利要求1至4中任一项所述的点云重建方法，其特征在于，所述基于所述待重建图像和所述配对图像的位置信息，以及所述目标相机和邻域相机的位姿信息，确定所述待重建图像的深度信息，包括：基于所述待重建图像和所述配对图像的位置信息，以及所述目标相机和邻域相机的位姿信息，分别确定第一夹角和第二夹角，所述第一夹角由所述目标相机...
【专利技术属性】
技术研发人员：孙晓俊，李林，何山，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。