基于特征匹配和位置匹配的SAR图像与光学图像匹配方法组成比例

本发明专利技术提供了一种基于特征匹配和位置匹配的SAR图像与光学图像匹配方法，使用高斯差分算法对光学图像和SAR图像进行初步关键点检测；根据检测到的光学图像和SAR图像的关键点，提取周围的区域，重构图像块；设计包含密集块和过渡层的深度卷积神经网络，设计复合损失函数，通过对深度卷积神经网络的训练和运行，生成深度特征描述符；使用L2距离算法和深度特征描述符对光学图像和SAR图像进行特征匹配，并对匹配点距离误差进行评估；通过二维高斯函数投票算法实现SAR图像和光学图像的位置匹配。解决了SAR图像和光学图像的特征匹配问题，具有更佳的匹配能力和精准度，能够实现SAR图像和光学图像的位置匹配。和光学图像的位置匹配。和光学图像的位置匹配。

【技术实现步骤摘要】
基于特征匹配和位置匹配的SAR图像与光学图像匹配方法


[0001]本专利技术属于图像处理
，特别是涉及一种基于特征匹配和位置匹配的SAR图像与光学图像匹配方法。

技术介绍

[0002]在对地观测中，可以对光学和合成孔径雷达(SAR)图像进行比较和分析，通过互补获得更有价值的信息。在图像配准、图像融合和变化检测等领域，SAR图像与光学图像的特征匹配非常重要。但由于光学图像和合成孔径雷达图像的成像机理差异很大，很难匹配光学图像和SAR图像的特征。而且散斑噪声在SAR图像中广泛存在，会影响图像特征的性能，使其难以识别。此外沿着测距轴的距离依赖性和雷达信号波长的特性导致了合成孔径雷达图像的几何失真。
[0003]图像匹配方法可分为三类：基于区域的描述符匹配方法、手工特征描述符匹配方法和基于学习的特征描述符匹配方法。
[0004]基于区域的方法可以通过适当的面片相似性度量在像素级直接匹配图像。然而，视觉变化、光照变化和图像失真会误导相似性度量和匹配搜索。因此，这些方法通常只适用于以下情况：缩放、局部变形和小范围旋转。
[0005]专家和学者通常利用现有的知识推导并设计手工制作的特征描述符。对于非线性亮度变化，由于特征点周围梯度统计的多样性，SIFT特征点在主方向的计算中不可靠，这将产生较多的错误匹配点，导致错误配准或配准失败。近几十年来，出现了许多手工制作的特征描述符匹配方法，但由于非线性辐射差异，很难从光学和SAR图像中提取足够数量的高质量特征。
[0006]与手工编制的描述符相比，基于学习的特征描述符可以发现隐藏在数据中的更有价值的信息，并具有更好的性能和特征描述能力。在许多类型的图像中，基于深度学习的特征描述符比传统的描述符在特征匹配中取得了更好的效果。然而，基于学习的特征描述符也面临许多困难。例如，深度学习方法通常需要从图像中提取大量特征，这些特征通常包含噪声和异常值。

技术实现思路

[0007]本专利技术实施例的目的在于提供一种基于特征匹配和位置匹配的SAR图像与光学图像匹配方法，以更好地解决SAR图像和光学图像的特征匹配问题，具有更佳的匹配能力和匹配精准度，并且能够进一步实现SAR图像和光学图像的位置匹配。
[0008]为解决上述技术问题，本专利技术所采用的技术方案是，一种基于特征匹配和位置匹配的SAR图像与光学图像匹配方法，包括以下步骤：
[0009]S1：使用高斯差分算法对光学图像和SAR图像进行初步关键点检测；
[0010]S2：根据检测到的光学图像和SAR图像的关键点，提取周围的区域，重构为64
×
64像素的图像块；
[0011]S3：设计包含密集块和过渡层的深度卷积神经网络，并设计复合损失函数，通过对深度卷积神经网络的训练和运行，生成深度特征描述符；
[0012]S4：使用L2距离算法和深度特征描述符对光学图像和SAR图像进行特征匹配，并对匹配点距离误差进行评估；
[0013]S5：通过二维高斯函数投票算法实现SAR图像和光学图像的位置匹配。
[0014]进一步地，所述S1中高斯差分算法的函数为：
[0015][0016]其中，和分别表示两幅图像的高斯滤波；x、y分别是预测点的水平坐标和垂直坐标，σ1、σ2是预测点的方差，e是自然常数。
[0017]进一步地，所述S1中，初步关键点检测的方法为：
[0018]在初步关键点检测中，需要检测图像中所有像素点的灰度值，如果像素的DOG值是所有相邻像素点的最大值或最小值，则将其视为关键点。
[0019]进一步地，所述S3中生成特征描述符的具体方法为：通过设计的深度卷积神经网络和损失函数，对深度卷积神经网络进行训练，训练完成后，将图像送入训练好的深度卷积神经网络中，从而生成256位的特征描述符；
[0020]所述S2中重构的图像块作为S3中的深度卷积神经网络的训练数据。
[0021]进一步地，所述S3中深度卷积神经网络由由三个密集块和两个过渡层组成，其中，密集块的函数公式为：
[0022]X
i
＝H
i
([X0，X1，
…
，X
i
‑1])
[0023]过渡层的函数公式为：
[0024]X
k
＝W
k
([X0″
，X1，
…
，X
k
‑1][0025]X
T
＝W
T
*[X
0”，X1，
…
，X
k
][0026]X
U
＝W
U
*[X0′
，X
T
][0027]其中，X
i
表示当前层的输出，Hi()表示批量归一化、ReLU、池化和卷积操作的复合函数，*为卷积运算符，X
k
为第k层密集层的输出，X
T
为第一个过渡层的输出，X0经密集块分为两部分，表示为X0＝[X0′
，X0″
]，其中X0′
为未进入密集层的部分；X0是第0层神经网络特征的输出，X1是第1层神经网络特征的输出，X
U
为最终输出，W表示可训练的权重，X
i
‑1表示前一层的输出，X
k
‑1表示第k层的前一层的输出。
[0028]进一步地，所述S3中的复合损失函数由Hardl2损失函数和ArcPatch损失函数组成，其中，Hardl2损失函数为：
[0029][0030]其中，o
i
表示光学描述子，s
j
表示SAR描述子，代表和(o
i
，s
i
)欧式距离最接近的前M个SAR描述子非匹配描述符，代表和(o
i
，s
i
)欧式距离最接近的前M个光学描述子非匹配描述符，d(o
i
，s
j
)表示o
i
和s
j
之间的距离，M表示本次实验取前M个最接近的描述符；i＝1
…
n，j＝1
…
n，i,j，k为描述子集合的下标，j≠i,k≠i；
[0031]ArcPatch损失函数为：
[0032][0033]其中，b表示训练批次大小的值，s为常数，表示放大的倍数，cosθ
ii
表示正样本之间的距离，cosθ
ij
和cosθ
ji
表示负样本之间的距离，ij和ji分别表示光学图像和雷达图像的样本单位向量不同时的负样本情况，m为角裕度；
[0034]复合损失函数为：
[0035]Loss＝λ1L
hardl2
+λ2L
ARCpatch
[0036]其中，λ1＝1,p表示迭代次数。
[0037]进一步地，所述S4中特征匹本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征匹配和位置匹配的SAR图像与光学图像匹配方法，其特征在于，包括以下步骤：S1：使用高斯差分算法对光学图像和SAR图像进行初步关键点检测；S2：根据检测到的光学图像和SAR图像的关键点，提取周围的区域，重构为64
×
64像素的图像块；S3：设计包含密集块和过渡层的深度卷积神经网络，并设计复合损失函数，通过对深度卷积神经网络的训练和运行，生成深度特征描述符；S4：使用L2距离算法和深度特征描述符对光学图像和SAR图像进行特征匹配，并对匹配点距离误差进行评估；S5：通过二维高斯函数投票算法实现SAR图像和光学图像的位置匹配。2.根据权利要求1所述的基于特征匹配和位置匹配的SAR图像与光学图像匹配方法，其特征在于，所述S1中高斯差分算法的函数为：其中，和分别表示两幅图像的高斯滤波；x、y分别是预测点的水平坐标和垂直坐标，σ1、σ2是预测点的方差，e是自然常数。3.根据权利要求1所述的基于特征匹配和位置匹配的SAR图像与光学图像匹配方法，其特征在于，所述S1中，初步关键点检测的方法为：在初步关键点检测中，需要检测图像中所有像素点的灰度值，如果像素的DOG值是所有相邻像素点的最大值或最小值，则将其视为关键点。4.根据权利要求1所述的基于特征匹配和位置匹配的SAR图像与光学图像匹配方法，其特征在于，所述S3中生成特征描述符的具体方法为：通过设计的深度卷积神经网络和损失函数，对深度卷积神经网络进行训练，训练完成后，将图像送入训练好的深度卷积神经网络中，从而生成256位的特征描述符；所述S2中重构的图像块作为S3中的深度卷积神经网络的训练数据。5.根据权利要求1或4所述的基于特征匹配和位置匹配的SAR图像与光学图像匹配方法，其特征在于，所述S3中深度卷积神经网络由由三个密集块和两个过渡层组成，其中，密集块的函数公式为：X
i
＝H
i
([X0,X1,
…
,X
i
‑1])过渡层的函数公式为：X
k
＝W
k
*[X
0”，X1，
…
，X
k
‑1]X
T
＝W
T
*[X
0”，X1，
…
，X
k
]X
U
＝W
U
*[X0’
，X
T
]其中，X
i
表示当前层的输出，Hi()表示批量归一化、ReLU、池化和卷积操作的复合函数，*为卷积运算符，X
k
为第k层密集层的输出，X
T
为第一个过渡层的输出，X0经密集块分为两部分，表示为X0＝[X0′
，X0″
]，其中X0′
为未进入密集层的部分；X0是第0层神经网络特征的输出，X1是第1层神经网络特征的输出，X
U
为最终输出，W表示可训练的权重，X
i
‑1表示前一层的输出，X
k
‑1表示第k层的前一层的输出。
6.根据权利要求1所述的基于特征匹配和位置匹配的SAR图像与光学图像匹配方法，其特征在于，所述S3中的复合损失函数由Hardl2损失函数和ArcPatch损失函数组成，其中，Hardl2...

【专利技术属性】
技术研发人员：廖赟，邸一得，
申请(专利权)人：云南览易网络科技有限责任公司，
类型：发明
国别省市：