自适应学习速率的基于场景帧间配准的非均匀性校正方法技术

本发明专利技术公开了一种自适应学习速率的基于场景帧间配准的非均匀性校正方法，通过对相邻两帧图像的行列投影向量进行互相关运算，得出图像在行、列方向的位移，进而得到两帧图像的重叠区域，再根据两帧图像重叠区域的误差及学习速率，对校正参数进行迭代更新。其中，学习速率取决于图像重叠区域的空域特征，在平坦区域内使用较高的学习速率，细节与边缘较多的区域内使用较低的学习速率。本发明专利技术方法与使用固定学习速率的基于场景的非均匀性校正方法相比，有更快的收敛速度，同时能够有效抑制鬼影现象的产生。

A nonuniformity correction method based on scene inter frame registration with adaptive learning rate

【技术实现步骤摘要】
自适应学习速率的基于场景帧间配准的非均匀性校正方法
本专利技术属于红外图像非均匀性校正领域，具体涉及一种自适应学习速率的基于场景帧间配准的非均匀性校正方法。
技术介绍
目前，红外图像已被广泛应用于工业、医学和军事等领域来进行低可视度下的侦测。在理想情况下，红外成像系统对均匀辐射的红外光，获取的数字图像上每个像素点的灰度值应该完全一样。但实际上，受限于固态电子的制造工艺，探测器上的光敏元件(像元)往往伴随着杂质浓度不均，厚度不等，有效光敏面积做不到绝对平均等问题，像元之间的光电转换效率各不相同，对均匀辐射的景物的成像不均匀。另外，图像数据读出电路各通道之间的差，会导致图像出现呈列分布的固定条纹噪声。这就要求我们图像进行非均匀性校正，使图像得到更好的视觉效果。常用的红外图像非均匀校正技术主要有定标法和场景法两种。基于定标的方法是目前已经适用化的技术。但随着外部环境的变化，如焦平面温度、偏置电压的变化，会导致红外焦平面响应特性发生漂移，使得定标校正后图像上出现新的FPN，降低成像质量，原本用于校正的参数则不适应变化后的非均匀性。在实际工作中需要进行周期性的定标来更新校正参数。因此，近些年来，许多学者都开始研究基于场景的非均匀性校正技术。基于场景的校正算法不但省略了参考辐射源，使系统处理流程得到简化，提高系统的稳定性，而且可以有效地消除参数特性漂移的影响，实现高精度、大动态范围的自适应非均匀校正。基于场景类的算法分为常数恒定统计法、神经网络算法和帧间配准方法等。然而神经网络非均匀性校正算法很难在保证校正效果的同时具有较高的收敛速度，工程应用难度较高，并且当图像静止时，就会出现严重的衰退现象；恒定统计法对场景随机运动的依赖较强，且容易被场景干扰，算法的稳定性和收敛速度不能兼顾；帧间配准该方法根据短时间内探测器各探测元对相同场景的响应应该一致这一特性，使用图像配准的方式得到不同像元对相同场景辐射的响应。计算较简单，易于工程应用，但往往无法兼顾收敛速度和稳定性。
技术实现思路
本专利技术的目的在于提供一种自适应学习速率的基于场景帧间配准的非均匀性校正方法，用于解决一般基于场景帧间配准的非均匀性校正方法收敛速度慢，且容易出现鬼影的问题。实现本专利技术目的的技术解决方案为：一种自适应学习速率的基于场景帧间配准的非均匀性校正方法，实现步骤如下：步骤1、通过红外热像仪获得实时的运动场景的红外图像序列，每次选取其中相邻两帧红外图像；步骤2、分别计算上述两帧红外图像中每一行所有像素值灰度的均值，并分别减整幅图像灰度值的均值，得到每行的行投影值；分别计算上述每一列所有像素值灰度的均值，并分别减整幅图像灰度值的均值，得到每列的列投影值；步骤3、对上述两帧红外图像中的行、列投影值作互相关运算；步骤4、找出使行和列方向的互相关函数最大时的行、列方向的位移，即为两帧红外图像的相对位移。步骤5、根据每个像素的局部方差得到该像素校正时的自适应学习速率。步骤6、根据步骤4中得到的两帧红外图像的行、列位移值，可以得出两帧红外图像的重叠区域，对重叠区域构造一个误差矩阵。步骤7、对校正参数矩阵进行更新；步骤8、用原始红外图像加上校正参数，得到输出图像。步骤9、按时间先后顺序，对红外图像序列所有相邻的两帧，即第1帧和第2帧，第2帧和第3帧,…,第k-1帧和第k帧，…，都执行步骤2至步骤8的操作，一直对校正参数矩阵进行迭代更新。本专利技术与现有技术相比，其显著的优点为：(1)减少了定标法的工作量，避免多次反复标定。(2)仅需几十帧甚至十几帧就可以收敛，大大提高了校正的速率；(3)由于对不同区域使用不同的更新速率，避免了一般场景法由于采用固定学习速率带来的严重鬼影问题及收敛慢的问题。附图说明图1是本专利技术一种自适应学习速率的基于场景帧间配准的非均匀性校正方法的流程图。图2(a)是具有非均匀性的原始红外图像序列中的第100帧图像；图2(b)为使用固定学习速率的基于场景帧间配准的非均匀性校正方法对原始图像序列进行处理后的第100帧图像；图2(c)为使用本专利技术的自适应学习速率的基于场景帧间配准的非均匀性校正方法进行处理后的第100帧图像。具体实施方式下面结合附图进一步详细说明。本专利技术是一种自适应学习速率的基于场景帧间配准的非均匀性校正方法，可以通过多帧的迭代，对红外图像序列中的非均匀性进行去除。其原理为：首先对红外图像序列中前后两帧图像的行列投影向量计算互相关信息，然后分别寻找使得互相关信息取最大值的水平方向和垂直方向的位移量，即为图像的位移值，得到叠加的重叠区域，在重叠区域内根据学习速率对图像进行校正参数的更新，完成非均匀性校正。本文在一般的基于场景帧间配准的非均匀性校正方法的基础上，提出了一种改进方法，根据每个像素的局部方差，计算出自适应的学习速率，在提高收敛速度的同时可以避免鬼影产生。结合图1，一种自适应学习速率的基于场景帧间配准的非均匀性校正方法，包括以下步骤：步骤1、通过红外热像仪获得的实时的红外图像序列，红外图像的分辨率为M×N，其中M为行数，N为列数；构造一个大小为M×N的校正参数矩阵O，存储每个像素点的校正参数，其初值为0，对于实时的红外图像序列，每次选取相邻两帧红外图像，如第k帧和第k+1帧，k≥1；步骤2、分别计算上述第k帧和第k+1帧红外图像中每一行所有像素值灰度的均值，并分别减对应的整幅红外图像灰度值的均值，得到每行的行投影值；分别计算上述每一列所有像素值灰度的均值，并分别减对应的整幅红外图像灰度值的均值，得到每列的列投影值，计算公式如下：其中i表示像素的行坐标，j表示像素的列坐标，表示红外图像第i行的行投影值，表示红外图像第j列的列投影值，Xn(i,j)表示第n帧中坐标为(i，j)的像素的灰度值；n表示帧数，令n＝k，或n＝k+1；步骤3、对第k帧和第k+1帧红外图像的行、列投影值进行互相关运算：其中，水平方向的位移h∈[0,2×Δcol]，垂直方向的位移v∈[0,2×Δrow]，Δcol为第k+1帧红外图像相对于第k帧红外图像在水平方向的位移上限，Δrow为第k+1帧红外图像相对于第k帧红外图像在垂直方向的位移上限；Crow(v)为相邻两帧红外图像的行互相关信息函数，Ccol(h)为相邻两帧红外图像的列互相关信息函数；步骤4、找到使Crow(v)和Ccol(h)取最大值时对应的v，h值，求出第k+1帧红外图像相对于第k帧红外图像在行方向的位移di和列方向的位移dj：步骤5、一般的基于场景帧间配准非均匀性校正方法对所有像素都采用同一个固定的学习速率，学习速率设得高时，会产生鬼影现象，学习速率设得低时，收敛速度很慢，因此在收敛速度和稳定性上无法取得很好的平衡；本专利技术根据每个像素的局部方差，对每个像素计算出自适应学习速率，兼顾收敛速度和稳定性，具体步骤如下：5-1)计算每个像素的局部均值m(i,j)，局部指以像素的坐标(i，j)为中心，窗口大小为(2l+1)×(2l+1)的区域，其中l为一个预设的整数，X(a,b)表示像素的灰度值，计算公式如下：5-2)计算每个像素的局部方差σ2(i,j)，计算公式如下：5-3)根据局部方差计算每个像素的学习速率，计算公式如下：其中，αst为初始学习速率，α(i,j)为坐标为(i，j)的像素点的学习速率。使用本公本文档来自技高网...

【技术保护点】
1.一种自适应学习速率的基于场景帧间配准的非均匀性校正方法，其特征在于，包括以下步骤：步骤1、通过红外热像仪获得的实时的红外图像序列，红外图像的分辨率为M×N，其中M为行数，N为列数；构造一个大小为M×N的校正参数矩阵O，存储每个像素点的校正参数，其初值为0，对于实时的红外图像序列，每次选取相邻两帧红外图像，如第k帧和第k+1帧，k≥1；步骤2、分别计算上述第k帧和第k+1帧红外图像中每一行所有像素值灰度的均值，并分别减对应的整幅红外图像灰度值的均值，得到每行的行投影值；分别计算上述每一列所有像素值灰度的均值，并分别减对应的整幅红外图像灰度值的均值，得到每列的列投影值，计算公式如下：

【技术特征摘要】
1.一种自适应学习速率的基于场景帧间配准的非均匀性校正方法，其特征在于，包括以下步骤：步骤1、通过红外热像仪获得的实时的红外图像序列，红外图像的分辨率为M×N，其中M为行数，N为列数；构造一个大小为M×N的校正参数矩阵O，存储每个像素点的校正参数，其初值为0，对于实时的红外图像序列，每次选取相邻两帧红外图像，如第k帧和第k+1帧，k≥1；步骤2、分别计算上述第k帧和第k+1帧红外图像中每一行所有像素值灰度的均值，并分别减对应的整幅红外图像灰度值的均值，得到每行的行投影值；分别计算上述每一列所有像素值灰度的均值，并分别减对应的整幅红外图像灰度值的均值，得到每列的列投影值，计算公式如下：其中i表示像素的行坐标，j表示像素的列坐标，表示红外图像第i行的行投影值，表示红外图像第j列的列投影值，Xn(i,j)表示第n帧中坐标为(i，j)的像素的灰度值；n表示帧数，令n＝k，或n＝k+1；步骤3、对第k帧和第k+1帧红外图像的行、列投影值进行互相关运算：其中，水平方向的位移h∈[0,2×Δcol]，垂直方向的位移v∈[0,2×Δrow]，Δcol为第k+1帧红外图像相对于第k帧红外图像在水平方向的位移上限，Δrow为第k+1帧红外图像相对于第k帧红外图像在垂直方向的位移上限；Crow(v)为相邻两帧红外图像的行互相关信息函数，Ccol(h)为相邻两帧红外图像的列互相关信息函数；步骤4、找到使Crow(v)和Ccol(h)取最大值时对应的v，h值，求出第k+1帧红外图像相对于第k帧红外图像在行方向的位移di和列方向的位移dj：步骤5、根据每个像素的局部方差得到该像素更新校正参数时的自适应学习速率α(i,j)；步骤6、根据步骤4中得...

【专利技术属性】
技术研发人员：韩俊马，杨峰，李龙，
申请(专利权)人：南京谱数光电科技有限公司，
类型：发明
国别省市：江苏,32