SAR图像与光学图像的配准方法、装置、设备和介质制造方法及图纸

本发明专利技术实施例提供了一种基于正负采样损失函数的SAR图像与光学图像的配准方法、装置、设备和介质，所述方法包括：获取待配准的SAR图像与待配准的光学图像；将所述待配准的SAR图像与所述待配准的光学图像输入目标网络，得到所述待配准的SAR图像与所述待配准的光学图像之间的热力图；将所述热力图上值最大的点所在位置，确定为所述待配准的SAR图像与光学图像的配准位置；所述目标网络的损失函数值仅通过增大正样本点的配准评分且减小负样本点的配准评分的方式减小。本发明专利技术实施例使得目标网络能够尽可能的增大正样本点的配准评分，减小负样本点的配准评分，来优化目标网络参数，从而提升配准的准确率。提升配准的准确率。提升配准的准确率。

【技术实现步骤摘要】
SAR图像与光学图像的配准方法、装置、设备和介质


[0001]本专利技术涉及图像处理
，特别是涉及一种基于正负采样损失函数的SAR图像与光学图像的配准方法、装置、设备和介质。

技术介绍

[0002]图像配准是卫星图像的关键预处理环节，利用图像配准技术，可以将多时相、多角度、多模态的图像信息进行配对，以便后续的图像融合、识别等各类任务。在SAR图像与光学图像的配准过程中，通常根据图像间的相似度指标来决定最佳配准位置，在SAR图像与光学图像的相似度衡量方面，现有的深度学习大多采用传统的误差平方和指标，或是直接计算线性相关性热力图，并基于正、负样本点的误差平方和指标或相关性热力图来设计损失函数，通过损失函数最小化来优化神经网络参数。
[0003]现有的基于热力图采样的算法，通过神经网络提取SAR图像和光学图像的特征矩阵，再将SAR图像和光学图像的特征矩阵逐位置计算线性相关性得到热力图，进而根据热力图上各位置点的评分确定配准位置。但随着利用神经网络进行SAR图像与光学图像配准的深入实践，申请人发现：利用神经网络进行图像配准的配准率不高，并不能满足后续对图像处理、识别等任务需求。

技术实现思路

[0004]鉴于上述问题，提出了本专利技术实施例的一种基于正负采样损失函数的SAR图像与光学图像的配准方法、装置、设备和介质，以便克服上述问题或者至少部分地解决上述问题。
[0005]本专利技术实施例的第一方面，公开了一种基于正负采样损失函数的SAR图像与光学图像的配准方法，所述方法包括：
[0006]获取待配准的SAR图像与待配准的光学图像；
[0007]将所述待配准的SAR图像与所述待配准的光学图像输入目标网络，得到所述待配准的SAR图像与所述待配准的光学图像之间的热力图，所述热力图上每个点的配准评分表征：针对所述待配准的SAR图像与所述待配准的光学图像，所述目标网络预测的在每个点所在位置的配准度；
[0008]将所述热力图上值最大的点所在位置，确定为所述待配准的SAR图像与光学图像的配准位置；
[0009]所述目标网络的损失函数值仅通过增大正样本点的配准评分且减小负样本点的配准评分的方式减小，所述正样本点是根据样本热力图上对应于预先标记的正确配准位置的点确定的，所述负样本点表示所述样本热力图上除所述正样本点以外的点，所述样本热力图是在所述目标网络的训练过程中，针对配对好的且预先标记有正确配准位置的样本SAR图像与样本光学图像而输出的热力图。
[0010]可选地，所述目标网络的损失函数值随第i个正样本点的配准评分单调递减，且随
第j个负样本点的配准评分单调递增，且所述损失函数对所述正样本点的配准评分与所述负样本点的配准评分的导数的绝对值相等。
[0011]可选地，所述目标网络的损失函数值是按照以下损失函数公式计算的：
[0012][0013]其中，N
p
表示正样本点的个数，N
n
表示负样本点的个数，和分别表示第i个正样本点的配准评分、第j个负样本点的配准评分。
[0014]可选地，所述正样本点包括：所述样本热力图上对应于预先标记的正确配准位置的点，以及位于该点的邻域的各个点，所述邻域至少包括：上下左右四个相邻位置。
[0015]可选地，所述负样本点包括：除所述正样本点外，剩余的各个点中配准评分最高的n个点。
[0016]可选地，在所述待配准的SAR图像与所述待配准的光学图像分输入目标网络之前，所述方法还包括：
[0017]从完整的SAR图像中截取部分图像区域，得到所述待配准的SAR图像，所述待配准的SAR图像与所述待配准的光学图像之间的旋转角度差值与尺度差值均小于预设差值，所述配准评分是将所述待配准的SAR图像在所述待配准的光学图像上逐像素点平移，计算得到的每个像素点所在位置的匹配度。
[0018]可选地，将所述待配准的SAR图像与所述待配准的光学图像输入目标网络，得到所述待配准的SAR图像与所述待配准的光学图像之间的热力图，包括：
[0019]分别求取所述待配准的SAR图像与所述待配准光学图像各自的多方向梯度图；
[0020]利用孪生神经网络分别提取所述SAR图像与光学图像各自的多方向梯度图的特征，得到SAR图像特征矩阵与光学图像特征矩阵；
[0021]对所述SAR图像特征矩阵与所述光学图像特征矩阵进行线性相关度计算，得到所述待配准的SAR图像与所述待配准的光学图像之间的热力图。
[0022]本专利技术实施例的第二方面，提供了一种基于正负采样损失函数的SAR图像与光学图像的配准装置，所述装置包括：
[0023]图像获取模块，用于获取待配准的SAR图像与待配准的光学图像；
[0024]图像处理模块，用于将所述待配准的SAR图像与所述待配准的光学图像输入目标网络，得到所述待配准的SAR图像与所述待配准的光学图像之间的热力图，所述热力图上每个点的配准评分表征：针对所述待配准的SAR图像与所述待配准的光学图像，所述目标网络预测的在每个点所在位置的配准度；
[0025]配准位置确定模块，用于将所述热力图上值最大的点所在位置，确定为所述待配准的SAR图像与光学图像的配准位置；所述目标网络的损失函数值仅通过增大正样本点的配准评分且减小负样本点的配准评分的方式减小，所述正样本点是根据样本热力图上对应于预先标记的正确配准位置的点确定的，所述负样本点表示所述样本热力图上除所述正样本点以外的点，所述样本热力图是在所述目标网络的训练过程中，针对配对好的且预先标记有正确配准位置的样本SAR图像与样本光学图像而输出的热力图。
[0026]本专利技术实施例的第三方面，还公开了一种电子设备，包括：
[0027]存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如本专利技术第一方面实施例所述的基于正负采样损失函数的SAR图像与光学图像的配准方法。
[0028]本专利技术实施例的第四方面，其存储的计算机程序使得处理器执行如本专利技术第一方面实施例所述的基于正负采样损失函数的SAR图像与光学图像的配准方法。
[0029]本专利技术实施例包括以下优点：
[0030]在本专利技术实施例中，获取待配准的SAR图像与待配准的光学图像；将所述待配准的SAR图像与所述待配准的光学图像输入目标网络，得到所述待配准的SAR图像与所述待配准的光学图像之间的热力图；将所述热力图上值最大的点所在位置，确定为所述待配准的SAR图像与光学图像的配准位置；所述目标网络的损失函数值仅通过增大正样本点的配准评分且减小负样本点的配准评分的方式减小。由于本专利技术实施例中，损失函数随正样本点配准评分单调递减，随负样本点配准评分单调递增，且损失函数对于正样本点的配准评分与负样本点的配准评分的导数的绝对值相等，即正样本点的配准评分与负样本点的配准评分对损失函数值的影响相同，因此，损失函数的值仅能通过增大正样本点的配准评分，减小负样本点的配准评分来减小，来优化目标网络参数，保证了学习本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于正负采样损失函数的SAR图像与光学图像的配准方法，其特征在于，包括：获取待配准的SAR图像与待配准的光学图像；将所述待配准的SAR图像与所述待配准的光学图像输入目标网络，得到所述待配准的SAR图像与所述待配准的光学图像之间的热力图，所述热力图上每个点的配准评分表征：针对所述待配准的SAR图像与所述待配准的光学图像，所述目标网络预测的在每个点所在位置的配准度；将所述热力图上值最大的点所在位置，确定为所述待配准的SAR图像与光学图像的配准位置；所述目标网络的损失函数值仅通过增大正样本点的配准评分且减小负样本点的配准评分的方式减小，所述正样本点是根据样本热力图上对应于预先标记的正确配准位置的点确定的，所述负样本点表示所述样本热力图上除所述正样本点以外的点，所述样本热力图是在所述目标网络的训练过程中，针对配对好的且预先标记有正确配准位置的样本SAR图像与样本光学图像而输出的热力图。2.根据权利要求1所述的方法，其特征在于，所述目标网络的损失函数值随第i个正样本点的配准评分单调递减，且随第j个负样本点的配准评分单调递增，且所述损失函数对所述正样本点的配准评分与所述负样本点的配准评分的导数的绝对值相等。3.根据权利要求2所述的方法，其特征在于，所述目标网络的损失函数值是按照以下损失函数公式计算的：其中，N
p
表示正样本点的个数，N
n
表示负样本点的个数，和分别表示第i个正样本点的配准评分、第j个负样本点的配准评分。4.根据权利要求1
‑
3任一所述的方法，其特征在于，所述正样本点包括：所述样本热力图上对应于预先标记的正确配准位置的点，以及位于该点的邻域的各个点，所述邻域至少包括：上下左右四个相邻位置。5.根据权利要求4所述的方法，其特征在于，所述负样本点包括：除所述正样本点外，剩余的各个点中配准评分最高的n个点。6.根据权利要求1所述的方法，其特征在于，在所述待配准的SAR图像与所述待配准的光学图像输入目标网络之前，所述方法还包括：从完整的SAR图像中截取部分图像区域，得到所述待配准的SAR图像，所述待配准的SAR图像与所述待配准的光学图像之间的旋转角度差值与尺度差值均小于预设差值，所述...

【专利技术属性】
技术研发人员：刘瑜，何越平，王学谦，李刚，姜智卓，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：