【技术实现步骤摘要】
本专利技术属于数字图像处理领域，涉及基于多尺度卷积特征的通用多模态影像匹配方法及装置。
技术介绍
1、多模态图像匹配是许多领域中(如计算机、医学、遥感等)多源数据融合及相关应用的必要环节。多模态影像由不同类型的传感器所获取，它们的成像机理不同并工作在不同的电磁波段，这导致不同模态的影像之间的强度变化极其复杂，呈现出非线性的趋势，且难以使用通用模型进行描述。此外，若影像拍摄的时间存在差异，或使用了众源影像作为数据源，则传感器的姿态、位置、分辨率等差异将导致得到的影像间存在显著几何变化，进一步增加了多模态影像匹配的难度。然而，由于传统的图像匹配方法仅考虑单一层面的影像差异，导致对强度差异的保持鲁棒的方法难以抵抗显著的几何差异，而能够处理几何差异的方法又对影像强度变化非常敏感。因此，对于实现多领域通用的多模态影像匹配，不仅需要对不同类型影像之间的非强度差异保持鲁棒，还需要对影像间潜在的平移、旋转、缩放等显著几何变化具有抵抗能力。
2、针对传统影像匹配方法无法有效处理存在非线性强度差异、显著几何差异的多模态影像数据的问题，本专利技术提出一种基于多尺度卷积特征的通用多模态影像匹配方法。本方法以特征匹配的思路入手，以影像金字塔为基础解决影像尺度差异，基于相位一致性模型检测影像中的显著特征点，利用对强度变化不敏感的多尺度定向滤波器对影像卷积，以提取影像特征信息作为特征描述的基础，构造了一种带有局部重叠的自适应分区特征描述子，基于稳定可靠的主方向估计方法实现了描述子的旋转不变性，构造了一种基于全局到局部搜索策略的特征匹配器，实现了鲁
技术实现思路
1、为了解决上述现有技术中存在的不足，本专利技术提出了一种基于多尺度卷积特征的通用多模态匹配方法及装置，实现多领域通用的多模态影像鲁棒性特征匹配。
2、为了实现上述目的，本专利技术提出的技术方案提供一种基于多尺度卷积特征的通用多模态影像匹配方法，包括以下步骤，
3、根据参考影像和待匹配影像的尺寸分别构建各自的影像金字塔；
4、基于二维相位一致性模型为各级金字塔影像构建pc特征图，并利用fast特征检测子在pc特征图上检测显著特征点；
5、基于多尺度的定向滤波器对各级金字塔影像进行卷积，提取影像特征信息，得到对非线性强度差异不敏感的卷积影像图；
6、构建带有局部重叠区域的圆形自适应分区特征描述子，该描述子根据定向滤波器的方向数进行内部区域的自适应划分；
7、基于多尺度综合的特征方向直方图和四象限投票策略准确估计描述子主方向，并在此基础上确定描述子起始采样方向及特征值的归一化顺序，生成与旋转无关的特征描述向量；
8、利用卷积影像分组策略，通过提高待测影像的定向滤波器的方向设置密度，为待测影像特征点生成多个描述向量，进一步增强方法的旋转不变性；
9、构建基于全局到局部搜索策略的特征匹配器，通过与粗差剔除相结合，提高特征点的利用率，实现提取匹配结果。
10、而且，金字塔影像通过逐级的高斯模糊处理和降采样产生。
11、而且，所述多尺度的定向滤波器中，所使用的滤波器能够通过改变相关参数以形成具有多尺度和多方向构造的滤波器组。
12、而且，所述多尺度的定向滤波器中，采用h2stf滤波器，通过改变用于构建基础滤波器的高斯函数标准差来产生多个尺度的滤波器结果，使用所生成的h2stf滤波器组对输入影像进行卷积，以提取影像在多个方向和多个尺度上的结构特征信息。
13、而且，所述带有局部重叠区域的圆形自适应分区特征描述子，首先设置一个以特征点为中心、半径为r的圆形区域，以图像坐标系为基准定义描述子的正旋转方向，其中r为预设的参数；随后，沿切线方向对圆形区域分区；然后，对描述子进行径向分区，将沿径向的圆形区域平均分成nr个圆，其中nr为预设的参数；最后，沿径向扩展径向分区，使每个径向分区扩展的径向长度。
14、而且，所述基于多尺度综合的特征方向直方图和四象限投票策略准确估计描述子主方向，实现方式为，
15、首先，在固定尺度上统计描述符圆形区域内每个像素在不同方向上的卷积值，为每个像素构建一个统计直方图，并获取直方图峰值对应的方向，
16、随后，对圆形区域内的所有像素进行直方图统计，为确定目标特征点的主方向，通过合成多个尺度的统计直方图来生成一个复合直方图，从而根据复合直方图的峰值对应的方向角度估计出主方向。
17、而且，所述基于全局到局部搜索策略的特征匹配器，包括首先进行全局搜索阶段，全局搜索在影像金字塔中进行，获得初始匹配结果后，使用ransac方法进行误匹配剔除，输出全局搜索阶段的匹配结果；随后进行局部搜索阶段，根据全局搜索结果估算输入影像之间的仿射变换模型t，并在原始图像上进行局部搜索，通过计算参考影像上的目标特征点与待匹配影像相应局部区域内所有特征点之间的相似度实现局部搜索阶段的特征匹配，再次执行ransac方法来消除误匹配，并输出最终的匹配结果。
18、另一方面，本专利技术还提供一种计算机装置/设备/系统，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现上述基于多尺度卷积特征的通用多模态影像匹配方法的步骤。
19、另一方面，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如上所述基于多尺度卷积特征的通用多模态影像匹配方法的步骤。
20、另一方面，本专利技术还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上所述基于多尺度卷积特征的通用多模态影像匹配方法的步骤。
21、本专利技术的优点在于：
22、通过为输入的多模态影像对创建影像金子塔来解决影像间可能存在的尺度差异，基于光照和对比度无关的二维相位一致性模型构建了pc特征图，并进而实现对影像显著特征点的提取，利用多尺度定向滤波器生成了对非线性强度差异不敏感卷积影像图，构造了新颖的带有局部重叠的圆形自适应分区特征描述子，通过稳定准确的主方向估计和卷积影像分组策略使方法具有极强的旋转不变性，基于全局到局部搜索策略的特征匹配器使得方法的匹配可靠性和精度得到进一步提高。本专利技术技术方案可作为一种通用的影像匹配框架，适用于各个领域中的多模态影像匹配任务。
23、本专利技术方案实施简单方便，实用性强，解决了相关技术存在的实用性低及实际应用不便的问题，能够提高用户体验，具有重要的市场价值。
本文档来自技高网...【技术保护点】
1.一种基于多尺度卷积特征的通用多模态影像匹配方法，其特征在于：包括以下步骤，
2.根据权利要求1所述基于多尺度卷积特征的通用多模态影像匹配方法，其特征在于：金字塔影像通过逐级的高斯模糊处理和降采样产生。
3.根据权利要求1所述基于多尺度卷积特征的通用多模态影像匹配方法，其特征在于：所述多尺度的定向滤波器中，所使用的滤波器能够通过改变相关参数以形成具有多尺度和多方向构造的滤波器组。
4.根据权利要求3所述基于多尺度卷积特征的通用多模态影像匹配方法，其特征在于：所述多尺度的定向滤波器中，采用H2StF滤波器，通过改变用于构建基础滤波器的高斯函数标准差来产生多个尺度的滤波器结果，使用所生成的H2StF滤波器组对输入影像进行卷积，以提取影像在多个方向和多个尺度上的结构特征信息。
5.根据权利要求1所述基于多尺度卷积特征的通用多模态影像匹配方法，其特征在于：所述带有局部重叠区域的圆形自适应分区特征描述子，首先设置一个以特征点为中心、半径为R的圆形区域，以图像坐标系为基准定义描述子的正旋转方向，其中R为预设的参数；随后，沿切线方向对圆形区域分
6.根据权利要求1所述基于多尺度卷积特征的通用多模态影像匹配方法，其特征在于：所述基于多尺度综合的特征方向直方图和四象限投票策略准确估计描述子主方向，实现方式为，首先，在固定尺度上统计描述符圆形区域内每个像素在不同方向上的卷积值，为每个像素构建一个统计直方图，并获取直方图峰值对应的方向，
7.根据权利要求1所述基于多尺度卷积特征的通用多模态影像匹配方法，其特征在于：所述基于全局到局部搜索策略的特征匹配器，包括首先进行全局搜索阶段，全局搜索在影像金字塔中进行，获得初始匹配结果后，使用RANSAC方法进行误匹配剔除，输出全局搜索阶段的匹配结果；随后进行局部搜索阶段，根据全局搜索结果估算输入影像之间的仿射变换模型T，并在原始图像上进行局部搜索，通过计算参考影像上的目标特征点与待匹配影像相应局部区域内所有特征点之间的相似度实现局部搜索阶段的特征匹配，再次执行RANSAC方法来消除误匹配，并输出最终的匹配结果。
8.一种计算机装置/设备/系统，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于：所述处理器执行所述计算机程序以实现权利要求1至7所述基于多尺度卷积特征的通用多模态影像匹配方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于：该计算机程序/指令被处理器执行时实现权利要求1至7所述基于多尺度卷积特征的通用多模态影像匹配方法的步骤。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于：该计算机程序/指令被处理器执行时实现权利要求1至7所述基于多尺度卷积特征的通用多模态影像匹配方法的步骤。
...【技术特征摘要】
1.一种基于多尺度卷积特征的通用多模态影像匹配方法，其特征在于：包括以下步骤，
2.根据权利要求1所述基于多尺度卷积特征的通用多模态影像匹配方法，其特征在于：金字塔影像通过逐级的高斯模糊处理和降采样产生。
3.根据权利要求1所述基于多尺度卷积特征的通用多模态影像匹配方法，其特征在于：所述多尺度的定向滤波器中，所使用的滤波器能够通过改变相关参数以形成具有多尺度和多方向构造的滤波器组。
4.根据权利要求3所述基于多尺度卷积特征的通用多模态影像匹配方法，其特征在于：所述多尺度的定向滤波器中，采用h2stf滤波器，通过改变用于构建基础滤波器的高斯函数标准差来产生多个尺度的滤波器结果，使用所生成的h2stf滤波器组对输入影像进行卷积，以提取影像在多个方向和多个尺度上的结构特征信息。
5.根据权利要求1所述基于多尺度卷积特征的通用多模态影像匹配方法，其特征在于：所述带有局部重叠区域的圆形自适应分区特征描述子，首先设置一个以特征点为中心、半径为r的圆形区域，以图像坐标系为基准定义描述子的正旋转方向，其中r为预设的参数；随后，沿切线方向对圆形区域分区；然后，对描述子进行径向分区，将沿径向的圆形区域平均分成nr个圆，其中nr为预设的参数；最后，沿径向扩展径向分区，使每个径向分区扩展的径向长度。
6.根据权利要求1所述基于多尺度卷积特征的通用多模态影像匹配方法，其特征在于：所述基于多尺度综合的特征方向直方图和四象限投...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。