一种图像融合时图像配准错位的自适应配准方法技术

本发明专利技术属于图像融合的配准技术应用领域，提出一种图像融合时图像配准错位的自适应配准方法。第一步：特征点检测；特征点检测使用sift算法，利用此法确定特征点；第二步：特征点匹配；sift描述子可以用向量来表示，两个描述子之间的相似程度可以用他们之间的距离来表示，通常距离越小，说明两个描述子越相似，则更有可能是同一个特征点；特征点之间的匹配就是找到描述子集合之间差异最小的点对的集合；第三步：计算单应性矩阵。本发明专利技术采用上述技术方案，能够解决图像融合因观察不同距离进行镜头调焦导致图像错位的问题，从而提升融合图像效果。果。果。

【技术实现步骤摘要】
一种图像融合时图像配准错位的自适应配准方法


[0001]本专利技术属于图像融合的配准技术应用领域，具体涉及解决图像融合因观察不同距离进行镜头调焦导致图像错位的自适应配准方法。

技术介绍

[0002]多传感器数据通常提供某区域的互补信息。图像融合的目的是由这些数据得到新的图像以提供更多的复杂和详细的场景表示。其在模式识别、遥感、医学成像和现代军事等场景分析中有着重要的应用。可见光传感器主要捕获反射光使得可见光图像具有丰富的背景信息，更有利于建立判别模型。相比之下，红外传感器主要捕捉物体发出的热辐射，受光照变化或伪装的影响较小，因此，它可以克服一些障碍发现目标并且昼夜工作。因此，将红外图像中的热物体信息和可见光的背景信息融合到一张图像中不仅可以使其更符合人的视觉感知，并且有利于后续应用比如目标识别等。一般情况下，图像融合由低到高分为三个层次：像素级融合、特征级融合、决策级融合。
[0003]当前的红外与可见光图像融合方法层次主要是像素级与特征级相结合，由于红外与可见光图像展示的是同一场景下的图像信息，对于平行光轴的红外可见光双摄像头配置进行图像配准，主要的限制是图像配准只是对特定的目标距离(Dtarget)有效。配准误差σx(以像素单位)的数学表达式为：
[0004][0005]其中f为焦距，l
pix
为像素大小，d
x
为基线长度。D
optimal
是目标距离，即图像对齐误差为0。如果光轴平行，即D
optimal
＝无穷远，只有目标物体在相对观察者很远的位置将会精确对齐，对于距离较近(D
target
<无穷远)将会出现配准误差。由于红外和可见光的焦距不一样，导致空间物体在两种图像上成像大小不一样，同时，使用的红外/可见光硬件系统光心在Y方向上存在偏差，即使根据焦距大小对图像进行缩放也并不能使得同一物体在不同图像上的成像大小相同。因此对于通过调焦镜头看不同距离的目标时，调焦后图像配准就存在偏差，本专利技术通过一种方法来修正这种配准误差来提升融合图像效果。

技术实现思路

[0006]针对上述问题，本专利技术提出一种图像融合时图像配准错位的自适应配准方法，目的是为了不影响图像处理的实时性，当通过目镜观察时，待调焦(需要观察的目标距离有变化时，需要调焦来调整图像清晰度)完成后，通过实时计算单应性矩阵来调整图像配准，本专利技术的图像融合方法如下：
[0007]一种图像融合时图像配准错位的自适应配准方法，采取重新计算单应性矩阵模型来实时修正图像配准，计算单应性矩阵模型如下：
[0008]第一步：特征点检测；
[0009]特征点检测使用sift算法，利用此法确定特征点；
[0010]第二步：特征点匹配；
[0011]sift描述子可以用向量来表示，两个描述子之间的相似程度可以用他们之间的距离来表示，通常距离越小，说明两个描述子越相似，则更有可能是同一个特征点；特征点之间的匹配就是找到描述子集合之间差异最小的点对的集合；
[0012]特征点匹配时可能会产生错误匹配，此时采取一些检测算法来对匹配的结果进行过滤；交叉验证是一种用来过滤错误匹配点对的方法，其思想是再进行一次反向的匹配过程，将第一次匹配的结果中，被匹配的点作为需要匹配的点，反向在第一幅图中寻找最佳匹配点，如果和第一次匹配的结果一致的话，就认为该点对是一次正确的匹配，否则将其过滤；
[0013]第三步：计算单应性矩阵；
[0014]根据匹配得到的特征点，计算单应性矩阵H，然后通过射影变换，把一个
[0015][0016]射影平面上的点映射到另一个射影平面上；单应性矩阵有8个参数：
[0017]其中m2和m5表示水平和垂直方向的位移，m0、m1、m3、m4代表相邻图片旋转和放缩变换，m6和m7代表水平和垂直方向的形变量。
[0018]单应性矩阵的计算公式为：
[0019]P1＝H
×
P2[0020][0021]其中表示匹配的特征点；
[0022]第四步：图像融合；
[0023]在取得两个图像之间的单应矩阵后，则映射关系可以表示为：
[0024][0025]其中，(u1，v1，1)
T
表示图像1中的像点，(u2，v2，1)
T
是图像2中的像点，也就是可以通过单应矩阵H将图像2变换到图像1，使他们处于同一视角，输入图像经过单应矩阵映射后，通过如下公式进行图像融合：
[0026]I(x，y)＝w1*I1(x，y)+w2*I2(x，y)
[0027]其中I(x，y)表示融合后的像素值，I1(x，y)、I2(x，y)分别表示红外图像和可见光图像经过单应性矩阵映射后的像素值，本专利技术取w1＝0.7、w2＝0.3。
[0028]有益效果：本专利技术采用上述技术方案，能够解决图像融合因观察不同距离进行镜头聚焦导致图像错位的问题，提升融合图像效果。
附图说明
[0029]图1：本专利技术的方法流程图；
[0030]图2：本专利技术的远距离融合图像效果图；
[0031]图3：本专利技术的近距离融合图像效果图；
[0032]图4：本专利技术实施例中的尺度空间构造过程示意图；
[0033]图5：本专利技术实施例中的极值点的寻找过程示意图；
[0034]图6：本专利技术实施例中的特征点方向计算示意图；
[0035]图7：本专利技术实施例中的特征点沿主方向旋转示意图；
[0036]图8：本专利技术实施例中的特征描述子的生成示意图。
具体实施方式
[0037]本专利技术硬件系统构成要求：可见光成像分辨率为：1920
×
1080，红外探测器分辨率为：640
×
512，像元尺寸均为12um，当前镜头均采用焦距为：12mm，F数为1.0的镜头。
[0038]为了提升图像处理的实时性，当通过目镜观察时，待聚焦(需要观察的目标距离有变化时，需要聚焦来调整图像清晰度)完成后，通过实时计算单应性矩阵来来调整图像配准，图像融合方法如下：
[0039]第一步：特征点检测
[0040]特征点检测使用sift算法；sift全称是Scale Invariant Frature Transform，是尺度不变特征变换。sift特征对旋转、尺度缩放、亮度变化等都具有良好的不变性，是一种稳定的局部特征。
[0041](1)构建DoG尺度空间。
[0042]尺度空间的思想就是对图像构建一系列不同分辨率的图像金字塔，分辨率连续变化，图像的尺寸随分辨率变化，模拟物体由近到远变化在视觉上的效果。公式如式(2)所示
[0043]L(x，y，σ)＝G(x，y，σ)*I(x，y)......(2)
[0044]其中，I(x，y)表示输入的原始图像，G(x，y，σ)表示高斯核函数，是尺度空间变换的唯一线性核函数，定义如式(3)所示
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像融合时图像配准错位的自适应配准方法，其特征在于,采取重新计算单应性矩阵模型来实时修正图像配准，计算单应性矩阵模型如下：第一步：特征点检测；特征点检测使用sift算法，利用此法确定特征点；第二步：特征点匹配；sift描述子可以用向量来表示，两个描述子之间的相似程度可以用他们之间的距离来表示，通常距离越小，说明两个描述子越相似，则更有可能是同一个特征点；特征点之间的匹配就是找到描述子集合之间差异最小的点对的集合；特征点匹配时可能会产生错误匹配，此时采取一些检测算法来对匹配的结果进行过滤；交叉验证是一种用来过滤错误匹配点对的方法，其思想是再进行一次反向的匹配过程，将第一次匹配的结果中，被匹配的点作为需要匹配的点，反向在第一幅图中寻找最佳匹配点，如果和第一次匹配的结果一致的话，就认为该点对是一次正确的匹配，否则将其过滤；第三步：计算单应性矩阵；根据匹配得到的特征点，计算单应性矩阵H，然后通过射影变换，把一个射影平面...

【专利技术属性】
技术研发人员：童飞飞，李辉，杨亚林，卫倩倩，王梅，王骞，葛琳琳，毛锐，王辉，谭云龙，张仁洁，
申请(专利权)人：河南中光学集团有限公司，
类型：发明
国别省市：