【技术实现步骤摘要】
本专利技术涉及图像，具体涉及一种红外图像与可见光图像配准的方法及装置。
技术介绍
1、在无人驾驶、装置自动巡检以及危险预警等领域，红外相机因为其独特的成像原理，可以克服因光照变化、烟雾遮挡等不利条件导致的目标信息缺失的问题而受到重视，但另一方面，红外图像也存在像素分辨率低、成像不清晰、纹理信息丢失等问题，限制了其运用的推广，因此，融合红外图像与可见光图像的方案被运用至这些领域。
2、在现有的各类融合方案中，图像配准都是其首要且具有挑战性的内容。现有图像配准方案主要包括基于区域的配准、基于特征的配准和基于深度学习的配准。基于区域的配准方案直接利用图像对的像素值相关性、互信息或变换域进行配准，通常为使用全局映像或预定义的本地窗口来搜索匹配，这种配准方法一般只适用于待配准图像之间变换属于刚性变换的情况，同时其过于依赖待配准对象的形态和弱纹理特征，难以在缺少丰富纹理信息的红外图像中提取可靠信息。基于特征的配准方法通过检测图像的显著性结构来提取特征作为稀疏表示，大大降低了计算复杂度，同时，对噪声干扰具有较强的鲁棒性。
3、而基于深度学习的算法比较先进，但往往需要大量带注释的样本进行模型训练，其中模型的针对性很强，目前还较难以形成统一的配准框架。
技术实现思路
1、有鉴于此，本专利技术提供了一种红外图像与可见光图像配准的方法及装置，能够解决红外图像和可见光图像因不同分辨率、视场和纹理差异导致难以配准的的技术问题。
2、为了解决上述技术问题，本专利技术是这样实
3、一种红外图像与可见光图像配准的方法，所述方法包括如下步骤：
4、步骤s1：获取待配准的红外图像与可见光图像；
5、步骤s2：对所述红外图像与所述可见光图像分别进行边缘锐化处理，生成第一红外图像及第一可见光图像；
6、步骤s3：从所述第一红外图像及所述第一可见光图像中分别提取待匹配红外特征点及待匹配可见光特征点；生成与所述第一红外图像对应的红外特征图像及与所述第一可见光图像对应的可见光特征图像；基于红外特征图像及可见光特征图像，确定各个待匹配红外特征点及各个待匹配可见光特征点对应的待匹配红外特征向量及待匹配可见光特征向量；
7、步骤s4：对各个所述待匹配红外特征向量及各个所述待匹配可见光特征向量进行粗匹配，将配对的待匹配红外特征向量与待匹配可见光特征向量分别对应的红外特征点与可见光特征点作为粗匹配结果；
8、步骤s5：基于粗匹配结果生成第一变换矩阵，基于所述第一变换矩阵对粗匹配结果进行过滤，生成精匹配结果；
9、步骤s6：基于精匹配结果生成第二变换矩阵。
10、优选地，所述步骤s3，从所述第一红外图像及所述第一可见光图像中分别提取待匹配红外特征点及待匹配可见光特征点，包括：
11、基于特征提取规则，从所述第一红外图像及所述第一可见光图像中提取待匹配红外特征点及待匹配可见光特征点；所述特征提取规则为：
12、将所述第一红外图像及所述第一可见光图像分别作为待提取特征点图像，执行以下处理：遍历所述待提取特征点图像的各像素点i，以i为圆心，r为半径，确立一个特征圆，同时给定阈值f，令中心像素点i分别与圆上像素做差，若存在m个点满足|i-icircle|>f，则将像素点i记为特征点，icircle为特征圆上的像素点。
13、优选地，所述步骤s3，生成与所述第一红外图像对应的红外特征图像及与所述第一可见光图像对应的可见光特征图像，包括：
14、将所述第一红外图像及所述第一可见光图像分别作为待转换图像，执行以下处理：
15、步骤s31：对所述待转换图像i进行填充，使用像素值为0的像素点将待转换图像i填充为iinput，iinput∈r(h+1)*(w+1)，r为实数域，h为所述待转换图像的高度，w为所述待转换图像的宽度；所述深度卷积模块接收iinput，令num＝1；
16、步骤s32：若num<5，则进入步骤s33，否则，进入步骤s34；
17、步骤s33：使用卷积核kernelconv对iinput进行卷积运算，接着对卷积运算结果进行批处理归一化，最后使用s型线性单元函数对批处理归一化运算结果进行非线性激活运算，得到深度卷积特征图使用所述稠密残差跳跃连接支路将iinput与深度卷积特征图进行通道拼接，得到拼接结果，令iinput等于所述拼接结果，将num赋值为num加1，进入步骤s32；
18、步骤s34：所述深度卷积特征图为五阶深度卷积特征图将所述五阶深度卷积特征图作为待转换图像的第一特征图；
19、步骤s35：全局显著性增强模块将所述待转换图像的第一特征图依次进行最大全局平均池化、卷积核为kernelconv的卷积运算、批处理归一化、s型线性单元函数非线性激活运算、卷积核为kernelconv的卷积运算、s型线性单元函数非线性激活运算，得到显著性偏置项ioffset；将所述待转换图像的第一特征图与显著性偏置项ioffset相乘，得到全局显著性增强增强结果isalient，将isalient作为与所述待转换图像对应的特征图像。
20、优选地，所述步骤s4：对各个所述待匹配红外特征向量及各个所述待匹配可见光特征向量进行粗匹配，将配对的待匹配红外特征向量与待匹配可见光特征向量分别对应的红外特征点与可见光特征点作为粗匹配结果，包括：
21、步骤s41：对各个所述待匹配红外特征向量，均执行以下操作：获取待匹配红外特征向量dinfi,i∈(1,numfeatureinf)，numfeatureinf为所述待匹配红外特征点的个数；将所述待匹配红外特征向量dinfi与各个待匹配可见光特征向量dvisj,j∈(1,numfeaturevis)进行叉乘，numfeaturevis为所述待匹配可见光特征点的个数，叉乘结果记为dotivij；求dotivij的反余弦值θ＝arccos(dotivij)；若min(θ)<threshlod1，则所述待匹配红外特征向量dinfi与待匹配可见光特征向量dvisj单向匹配成功，将dinfi与dvisj分别对应的待匹配红外特征点pinfi与待匹配可见光特征点pvisj记入第一匹配对集合matchinf→vis；
22、步骤s42：对各个所述待匹配可见光特征向量，均执行以下操作：获取待匹配可见光特征向量dvisj，将所述待匹配可见光特征向量divsj与各个待匹配红外特征向量dinfi进行叉乘，叉乘结果记为dotivji；求dotivji的反余弦值θ1＝arccos(dotivji)；若min(θ1)<threshlod2，则所述待匹配可见光特征向量dvisj与待匹配红外特征向量dinfi单向匹配成功，将dvisj与dinfj分别对应的待匹配可见光特征点pvisj与待匹配红外特征点pinfj记入第二匹配对集合matchvis→inf；
23、步骤s43：在所本文档来自技高网...
【技术保护点】
1.一种红外图像与可见光图像配准的方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述步骤S3，从所述第一红外图像及所述第一可见光图像中提取待匹配红外特征点及待匹配可见光特征点，包括：
3.如权利要求2所述的方法，其特征在于，所述步骤S3，生成与所述第一红外图像对应的红外特征图像及与所述第一可见光图像对应的可见光特征图像，包括：
4.如权利要求1-3中任一项所述的方法，其特征在于，所述步骤S4：对各个所述待匹配红外特征向量及各个所述待匹配可见光特征向量进行粗匹配，将配对的待匹配红外特征向量与待匹配可见光特征向量分别对应的红外特征点与可见光特征点作为粗匹配结果，包括：
5.如权利要求4所述的方法，其特征在于，所述步骤S5：基于粗匹配结果生成第一变换矩阵，基于所述第一变换矩阵对粗匹配结果进行过滤，生成精匹配结果，包括：
6.一种红外图像与可见光图像配准的装置，其特征在于，包括：
7.一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如权利要求1-5中任一项
8.一种电子设备，其特征在于，所述电子设备，包括：
...【技术特征摘要】
1.一种红外图像与可见光图像配准的方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述步骤s3，从所述第一红外图像及所述第一可见光图像中提取待匹配红外特征点及待匹配可见光特征点，包括：
3.如权利要求2所述的方法，其特征在于，所述步骤s3，生成与所述第一红外图像对应的红外特征图像及与所述第一可见光图像对应的可见光特征图像，包括：
4.如权利要求1-3中任一项所述的方法，其特征在于，所述步骤s4：对各个所述待匹配红外特征向量及各个所述待匹配可见光特征向量进行粗匹配，将配对的待匹...
【专利技术属性】
技术研发人员：李静，伍逸兴，王军政，汪首坤，赵江波，马立玲，沈伟，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。