图像匹配方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种图像匹配方法、装置、电子设备及存储介质。该方法，包括：分别构建第一图像的第一金字塔及第二图像的第二金字塔；对第一金字塔及第二金字塔的第三层图像进行特征点匹配，以得到第一金字塔相对于第二金字塔在第三层图像的第一匹配关系；将第一匹配关系映射到第一金字塔及第二金字塔的第二层图像，并根据第一匹配关系获取第一金字塔相对于第二金字塔在第二层图像的第一初始偏移量；根据第一初始偏移量获得第一金字塔相对于第二金字塔在第二层图像的第二匹配关系；将第二匹配关系映射到第一金字塔及第二金字塔的第一层图像，并在第二金字塔的第一层图像进行搜索，以获取第一图像的每一第一像素点在第二图像中的匹配的第二像素点。

【技术实现步骤摘要】
图像匹配方法、装置、电子设备及存储介质
本申请涉及计算机网络
，具体而言，涉及一种图像匹配方法、装置、电子设备及存储介质。
技术介绍
图像匹配技术是计算机视觉等领域的热点领域，并在图像融合(imagefusion)，图像超分辨率(imagesuperresolution)，立体视觉(stereovision)等邻域中广泛应用。如何快速且高质量的完成两幅图像之间的图像块最相似块匹配，是图像匹配技术的研究重点。现有图像块主流技术主要包括PatchMatch、TreeCANN、PAKT等。PatchMatch是一种迭代非建树的方法，没有数据降维和建立树结构的过程，通过随机初始化和邻域块相似性传播的方式，提高匹配效率。但直接采用原始图像块进行对比，匹配过程非常耗时，随着图像块尺寸的增加，图像块的对比耗时呈二次曲线增长。针对上述问题，目前尚未有有效的技术解决方案。
技术实现思路
本申请实施例的目的在于提供一种图像匹配方法、装置、电子设备及存储介质，可以提高图像匹配效率。第一方面，本申请实施例提供了种图像匹配方法，所述方法包括：分别构建第一图像的第一金字塔及第二图像的第二金字塔，所述第一金字塔及所述第二金字塔均分别包括三层图像，其中，第一金字塔以及第二金字塔的第一层图像分别为第一图像及第二图像，第一金字塔及第二金字塔的越接近第一层图像的层级的图像的分辨率越大；对所述第一金字塔及第二金字塔的第三层图像进行特征点匹配，以得到第一金字塔相对于第二金字塔在第三层图像的第一匹配关系；将所述第一匹配关系映射到所述第一金字塔及第二金字塔的第二层图像，并根据所述第一匹配关系获取第一金字塔相对于第二金字塔在第二层图像的第一初始偏移量；根据所述第一初始偏移量获得所述第一金字塔相对于第二金字塔在第二层图像的第二匹配关系；将所述第二匹配关系映射到所述第一金字塔及第二金字塔的第一层图像，并在所述第二金字塔的第一层图像进行搜索，以获取所述第一图像的每一第一像素点在所述第二图像中的匹配的第二像素点。可选地，在本申请实施例所述的图像匹配方法中，所述分别构建第一图像的第一金字塔及第二图像的第二金字塔，包括：对第一图像交替执行至少两次均值模糊处理以及降采样处理，以构建所述第一图像的第一金字塔；对第二图像交替执行至少两次均值模糊处理以及降采样处理，以构建所述第二图像的第二金字塔。可选地，在本申请实施例所述的图像匹配方法中，所述对所述第一金字塔及第二金字塔的第三层图像进行特征点匹配，以得到第一金字塔相对于第二金字塔在第三层图像的第一匹配关系，包括：对所述第一金字塔的第三层图像进行ORB特征点检测，以得到第一特征点集，所述第一特征点集包括多个第一特征点；对所述第二金字塔的第三层图像进行ORB特征点检测，以得到第二特征点集，所述第二特征点集包括多个第二特征点；基于欧式距离对所述第一特征点集与所述第二特征点集进行匹配，以得到第一匹配关系；所述第一匹配关系包括多个匹配特征点对，每一匹配特征点对包括一第一特征点以及一与该第一特征点匹配的第二特征点。可选地，在本申请实施例所述的图像匹配方法中，所述基于欧式距离对所述第一特征点集与所述第二特征点集进行匹配，以得到第一匹配关系，包括：给所述第一特征点集中的每一第一特征点选取一个欧式距离最小的第二特征点，以得到多个初始匹配特征点对；将所述多个初始匹配特征点对中的离群点以及噪声点删除，以得到第一匹配关系。可选地，在本申请实施例所述的图像匹配方法中，所述第一初始偏移量包括第一偏移量以及随机偏移量；所述将所述第一匹配关系映射到所述第一金字塔及第二金字塔的第二层图像，并根据所述第一匹配关系获取第一金字塔及第二金字塔在第二层图像的第一初始偏移量，包括：在第一金字塔的第二层图像确定出每一第一特征点以及每一第一特征点对应的第三像素块，每一所述第一特征点位于对应第三像素块的中心；在第二金字塔的第二层图像确定出每一第二特征点以及每一第二特征点对应的第四像素块，每一所述第二特征点位于对应第四像素块的中心；根据所述第一匹配关系确认出相互匹配的第三像素块与第四像素块的第一偏移量；将所述第一金字塔的第二层图像中的第三像素点关于第二金字塔的第二层图像的第四像素点的偏移量进行随机分配，得到随机偏移量，所述第三像素点为所述第一金字塔的第二层图像中的第三像素块以外的像素点，所述第四像素点为所述第二金字塔的第二层图像中的第四像素块以外的像素点。可选地，在本申请实施例所述的图像匹配方法中，根据所述第一初始偏移量获得所述第一金字塔相对于第二金字塔在第二层图像的第二匹配关系，包括：采用ORB特征点四邻域传播的方式对所述第一初始偏移量进行更新，并基于更新后的第一初始偏移量计算所述第一金字塔与所述第二金字塔的在第二层图像的第二匹配关系。可选地，在本申请实施例所述的图像匹配方法中，所述采用ORB特征点四邻域传播的方式对所述第一初始偏移量进行更新，并基于更新后的第一初始偏移量计算所述第一金字塔与所述第二金字塔的在第二层图像的第二匹配关系，包括：根据每一第三像素点的随机偏移量确定其对应的第四像素点；计算每一第三像素点的区域块与对应的第四像素点的区域块的初始相似度；其中，区域块为以对应像素点为中心的预设范围区域；计算每一所述第三像素点的各个四邻域像素点的区域块与对应所述第四像素点的区域块的第一相似度；根据每一所述第三像素点对应的初始相似度以及多个第一相似度，对每一所述随机偏移量进行更新，得到对应的第二偏移量；根据所述第一偏移量以及所述第二偏移量获取所述第一金字塔以及第二金字塔在第二层图像的第二匹配关系。可选地，在本申请实施例所述的图像匹配方法中，所述根据每一所述第五特征点的初始相似度以及多个第一相似度，对每一所述随机偏移量进行更新，得到对应的第二偏移量，包括：若一所述第三像素点对应的初始相似度大于其每一四邻域像素点对应的第一相似度，则将对应第三像素点的第一初始偏移量设置为其第二偏移量；若一所述第三像素点对应的初始相似度不大于其每一四邻域像素点对应的第一相似度，则根据其各个四邻域像素点中对应第一相似度最大的四邻域像素点对所述第一初始偏移量进行更新，得到第二偏移量。可选地，在本申请实施例所述的图像匹配方法中，所述第一像素点包括多个第五像素点以及多个第七像素点；所述将所述第二匹配关系映射到所述第一金字塔及第二金字塔的第一图层，并在所述第二金字塔的第一层图像进行搜索，以获取所述第一图像的每一第一像素点在所述第二图像中的相似度最大的第二像素点，包括：在第一金字塔和第二金字塔的第一层图像分别确定出每一第一特征点对应的第五像素块以及每一第二特征点对应的第六像素块；每一所述第一特征点位于对应第五像素块的中心，每一所述第五像素块包括多个第五像素点；每一所述第二特征点位于对应第六像素块的中心，每一所述第六像素块包括多个第六像本文档来自技高网...

【技术保护点】
1.一种图像匹配方法，其特征在于，所述方法包括：/n分别构建第一图像的第一金字塔及第二图像的第二金字塔，所述第一金字塔及所述第二金字塔均分别包括三层图像，其中，第一金字塔以及第二金字塔的第一层图像分别为第一图像及第二图像，第一金字塔及第二金字塔的越接近第一层图像的层级的图像的分辨率越大；/n对所述第一金字塔及第二金字塔的第三层图像进行特征点匹配，以得到第一金字塔相对于第二金字塔在第三层图像的第一匹配关系；/n将所述第一匹配关系映射到所述第一金字塔及第二金字塔的第二层图像，并根据所述第一匹配关系获取第一金字塔相对于第二金字塔在第二层图像的第一初始偏移量；/n根据所述第一初始偏移量获得所述第一金字塔相对于第二金字塔在第二层图像的第二匹配关系；/n将所述第二匹配关系映射到所述第一金字塔及第二金字塔的第一层图像，并在所述第二金字塔的第一层图像进行搜索，以获取所述第一图像的每一第一像素点在所述第二图像中的匹配的第二像素点。/n

【技术特征摘要】
1.一种图像匹配方法，其特征在于，所述方法包括：
分别构建第一图像的第一金字塔及第二图像的第二金字塔，所述第一金字塔及所述第二金字塔均分别包括三层图像，其中，第一金字塔以及第二金字塔的第一层图像分别为第一图像及第二图像，第一金字塔及第二金字塔的越接近第一层图像的层级的图像的分辨率越大；
对所述第一金字塔及第二金字塔的第三层图像进行特征点匹配，以得到第一金字塔相对于第二金字塔在第三层图像的第一匹配关系；
将所述第一匹配关系映射到所述第一金字塔及第二金字塔的第二层图像，并根据所述第一匹配关系获取第一金字塔相对于第二金字塔在第二层图像的第一初始偏移量；
根据所述第一初始偏移量获得所述第一金字塔相对于第二金字塔在第二层图像的第二匹配关系；
将所述第二匹配关系映射到所述第一金字塔及第二金字塔的第一层图像，并在所述第二金字塔的第一层图像进行搜索，以获取所述第一图像的每一第一像素点在所述第二图像中的匹配的第二像素点。


2.根据权利要求1所述的图像匹配方法，其特征在于，所述分别构建第一图像的第一金字塔及第二图像的第二金字塔，包括：
对第一图像交替执行至少两次均值模糊处理以及降采样处理，以构建所述第一图像的第一金字塔；
对第二图像交替执行至少两次均值模糊处理以及降采样处理，以构建所述第二图像的第二金字塔。


3.根据权利要求1或2所述的图像匹配方法，其特征在于，所述对所述第一金字塔及第二金字塔的第三层图像进行特征点匹配，以得到第一金字塔相对于第二金字塔在第三层图像的第一匹配关系，包括：
对所述第一金字塔的第三层图像进行ORB特征点检测，以得到第一特征点集，所述第一特征点集包括多个第一特征点；
对所述第二金字塔的第三层图像进行ORB特征点检测，以得到第二特征点集，所述第二特征点集包括多个第二特征点；
基于欧式距离对所述第一特征点集与所述第二特征点集进行匹配，以得到第一匹配关系；所述第一匹配关系包括多个匹配特征点对，每一匹配特征点对包括一第一特征点以及一与该第一特征点匹配的第二特征点。


4.根据权利要求3所述的图像匹配方法，其特征在于，所述基于欧式距离对所述第一特征点集与所述第二特征点集进行匹配，以得到第一匹配关系，包括：
给所述第一特征点集中的每一第一特征点选取一个欧式距离最小的第二特征点，以得到多个初始匹配特征点对；
将所述多个初始匹配特征点对中的离群点以及噪声点删除，以得到第一匹配关系。


5.根据权利要求3所述的图像匹配方法，其特征在于，所述第一初始偏移量包括第一偏移量以及随机偏移量；
所述将所述第一匹配关系映射到所述第一金字塔及第二金字塔的第二层图像，并根据所述第一匹配关系获取第一金字塔及第二金字塔在第二层图像的第一初始偏移量，包括：
在第一金字塔的第二层图像确定出每一第一特征点以及每一第一特征点对应的第三像素块，每一所述第一特征点位于对应第三像素块的中心；
在第二金字塔的第二层图像确定出每一第二特征点以及每一第二特征点对应的第四像素块，每一所述第二特征点位于对应第四像素块的中心；
根据所述第一匹配关系确认出相互匹配的第三像素块与第四像素块的第一偏移量；
将所述第一金字塔的第二层图像中的第三像素点关于第二金字塔的第二层图像的第四像素点的偏移量进行随机分配，得到随机偏移量，所述第三像素点为所述第一金字塔的第二层图像中的第三像素块以外的像素点，所述第四像素点为所述第二金字塔的第二层图像中的第四像素块以外的像素点。


6.根据权利要求5所述的图像匹配方法，其特征在于，根据所述第一初始偏移量获得所述第一金字塔相对于第二金字塔在第二层图像的第二匹配关系，包括：
采用ORB特征点四邻域传播的方式对所述第一初始偏移量进行更新，并基于更新后的第一初始偏移量计算所述第一金字塔与所述第二金字塔的在第二层图像的第二匹配关系。


7.根据权利要求6所述的图像匹配方法，其特征在于，所述采用ORB特征点四邻域传播的方式对所述第一初始偏移量进行更新，并基于更新后的第一初始偏移量计算所述第一金字塔与所述第二金字塔的在第二层图像的第二匹配关系，包括：
根据每一第三像素点的随机偏移量确定其对应的第四像素点；
计算每一第三像素点的区域块与对应的第四像素点的区域块的初始相似度；其中，区域块为以对应像素点为中心的预设范围区域；
计算每一所述第三像素点的各个四邻域像素点的区域块与对应所述第四像素点的区域块的第一相似度；
根据每一所述第三像素点对应的初始相似度以及多个第一相似度，对每一所述随机...

【专利技术属性】
技术研发人员：王鹏，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11