一种动态背景下红外视频的运动目标闭环检测方法技术

本发明专利技术公开了一种动态背景下红外视频的运动目标闭环检测方法，包括：对红外图像的噪声种类进行分析、使用滤波算法对图像进行去除噪声处理；针对不同帧采取不同的干扰角点滤除方法、从而对角点进行粗消除和细消除，并将最终检测角点进行存储和记录；采用稀疏光流法对上述角点进行跟踪，并使用双向跟踪对跟踪点进行滤除，根据前后两帧角点集合之间关系进行单应性矩阵计算，使用单应性变换矩阵对当前帧图像进行背景补偿；将前一帧红外图像与背景补偿后的当前帧图像进行差分，对差分结果进行自适应灰度阈值二值化处理，对二值图像进行形态学操作获取最终目标位置；根据前一帧检测目标位置形成掩膜，反馈到下一帧角点检测，形成一个完整的闭环检测回路。完整的闭环检测回路。完整的闭环检测回路。

【技术实现步骤摘要】
一种动态背景下红外视频的运动目标闭环检测方法


[0001]本专利技术涉及红外运动目标检测领域，尤其涉及一种动态背景下红外视频的运动目标闭环检测方法。

技术介绍

[0002]运动目标检测是计算机视觉领域核心研究课题之一，运动目标检测是目标跟踪、目标识别、目标行为理解的基础，在军事、安防监控、工业自动化、智能交通等领域有着广泛的应用前景。而根据拍摄平台或相机的运动与否，运动目标检测可分为静态背景下的运动目标检测和动态背景下的运动目标检测。静态背景下的运动目标检测是在拍摄过程中，相机静止，所得视频序列中只含有目标的运动；动态背景下的运动目标检测是在拍摄过程中，拍摄平台或相机和运动目标同时发生变化，拍摄平台和相机的变化包括平移、旋转、缩放等，所得视频序列不仅包含目标的运动，也包含背景的运动，相比静态背景下的目标检测，难度大大提升。动态背景下的运动目标检测主要采取的方法为背景补偿，通过计算前一帧与当前帧的变换矩阵，对当前帧进行背景补偿，而后使用帧差法对运动目标进行检测，其中背景补偿的精度会直接影响检测精度。
[0003]与可见光图像相比，红外图像具有对比度较低、分辨率较差、噪声较多等特点，这会导致在背景补偿过程中，红外图像提取的角点或特征点会比可见光提取的少而且更加集中。这会影响后续变换矩阵的计算的精度，影响背景补偿准确性，此外当进行背景补偿时，会发现背景中的角点或特征点在变换矩阵计算中发挥积极作用，而运动目标对象区域中的特征点会阻碍背景的准确配准。红外图像提取的角点或特征点与可见光相比，运动目标对象区域中的特征点在整体中的占比会加大，这可能导致PROSAC算法进行特征点筛选时，选择的内点为运动目标对象区域中的特征点的机率加大，将导致不准确的配准，影响最终检测结果。

技术实现思路

[0004]根据现有技术存在的问题，本专利技术公开了一种动态背景下红外视频的运动目标闭环检测方法，具体包括如下步骤：
[0005]对红外图像的噪声种类进行分析、使用滤波算法对图像进行去除噪声处理；
[0006]针对不同帧采取不同的干扰角点滤除方法、从而对角点进行粗消除和细消除，并将最终检测角点进行存储和记录；
[0007]采用稀疏光流法对上述角点进行跟踪，并使用双向跟踪方式对跟踪点进行滤除，确定上一帧角点在当前帧对应得位置关系，再使用当前跟踪点进行反向跟踪，并对两组角点进行筛选，剔除反向跟踪失败的角点；
[0008]根据前后两帧角点集合之间关系进行单应性矩阵计算，使用单应性变换矩阵对当前帧图像进行背景补偿；
[0009]将前一帧红外图像与背景补偿后的当前帧图像进行差分，对差分结果进行自适应
灰度阈值二值化处理，对二值图像进行形态学操作获取最终目标位置；
[0010]根据前一帧检测目标位置形成掩膜，反馈到下一帧角点检测，形成一个完整的闭环检测回路。
[0011]进一步的，利用高斯滤波器对当前帧红外图像进行噪声滤除，去除红外图像中的高斯白噪声；使用中值滤波器滤除红外图像中的随机点状噪声。
[0012]进一步的，判断当前帧是否为前五帧红外图像，如果为前五帧红外图像，则进行粗消除，否则进行细消除；
[0013]将红外图像分割成大小相同的子块，子块序列i1至i
25
；
[0014]从i1开始对每一小块使用Shi
‑
Tomasi算法进行角点检测，检测完成对每一小块内的角点数目进行从小到大排序；
[0015]去除数目最大的5个子块和浓度最小的5个子块，将最终角点进行存储，
[0016]若判断不是前五帧图像，则在检测时会将上一帧的检测结果反馈到当前帧，使用上一帧运动目标区域生成的掩膜mask，对掩膜区域为零的区域在当前帧上不进行角点检测；
[0017][0018]对其他区域进行Shi
‑
Tomasi角点检测，完成细消除，使得整个检测方法实现闭环检测；
[0019]将最终角点检测结果进行存储。
[0020]进一步的，使用LK光流金字塔算法对得到的每一个角点在当前帧进行跟踪，得出上一帧的角点P
i
(x0,y0)在当前帧的位置P
i
(x1,y1)，重复该步骤直至所有角点都计算完毕，将所有跟踪点进行存储；
[0021]再次使用LK光流金字塔算法对上述跟踪点集合进行反向跟踪，得出当前帧的跟踪点P
i
(x1,y1)在前一帧的位置P
i
(x2,y2)，重复该步骤直至所有跟踪点都计算完毕，将所有反向跟踪的跟踪点对进行存储；
[0022]根据输出状态矢量对正向跟踪点对进行去除；
[0023]如果判断输出状态矢量为1，则将前一帧角点与当前帧对应跟踪点进行存储，如果判断输出状态矢量为0，则将对应点对去除；
[0024]对反向跟踪的集合进行相同的去除策略；
[0025]将正向跟踪点对集合与反向跟踪点对集合进行筛选，取出点P
i
(x1,y1)比较其对应集合中的P
i
(x0,y0)与P
i
(x2,y2)，若两点x坐标和y坐标相同，则双向跟踪成功，将P
i
(x0,y0)与P
i
(x1,y1)加入跟踪成功集合中；
[0026]重复上述操作，直至完成所有点对的筛选。
[0027]进一步的，对得到的前一帧与当前帧对应的两组角点集合采用PROSAC算法计算两帧红外图像的最优单应性变换矩阵H，对于前一帧的角点P
i
(x0,y0)与当前帧对应的跟踪点P
i
(x1,y1)应满足以下关系：
[0028][0029]使用最优单应性变换矩阵H对当前帧进行背景补偿，采用双线性插值的方式在像素点x方向和y方向分别进行插值从而进行图像校正。
[0030]将前一帧红外图像与补偿后的红外图像进行差分运算，对差分图像进行高斯滤波去除噪声；
[0031]对差分图像使用Otsu算法进行阈值分割，获取疑似是运动目标的二值图；
[0032]对疑似是运动目标的二值图进行腐蚀操作，去除离散噪声以及线条状噪声干扰，再进行膨胀操作，膨胀后，对小区域进行标记并滤除，再次进行膨胀操作，得到最终运动目标二值图；
[0033]根据最终运动目标二值图计算运动目标轮廓，并将轮廓进行存储；
[0034]遍历每一个目标轮廓并根据轮廓在当前帧红外图像上绘制外接矩形，并将矩形的位置以及矩形的长和宽进行存储；
[0035]重复上述步骤，直至遍历完所有轮廓获取最终运动目标检测结果图。
[0036]进一步的，创建大小与类型与当前帧红外图像相同的颜色设为白色的单通道mask掩膜图像；
[0037]从存储的矩形框集合中取出一未处理的外接矩形框，获取矩形框的位置与大小，将矩形框的长和宽向外扩充m个像素点，将扩充后的矩形框映射到mask掩膜图像中，将mask掩膜图像矩形框内部像素点灰度值置为0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态背景下红外视频的运动目标闭环检测方法，其特征在于包括：对红外图像的噪声种类进行分析、使用滤波算法对图像进行去除噪声处理；针对不同帧采取不同的干扰角点滤除方法、从而对角点进行粗消除和细消除，并将最终检测角点进行存储和记录；采用稀疏光流法对上述角点进行跟踪，并使用双向跟踪方式对跟踪点进行滤除，确定上一帧角点在当前帧对应得位置关系，再使用当前跟踪点进行反向跟踪，并对两组角点进行筛选，剔除反向跟踪失败的角点；根据前后两帧角点集合之间关系进行单应性矩阵计算，使用单应性变换矩阵对当前帧图像进行背景补偿；将前一帧红外图像与背景补偿后的当前帧图像进行差分，对差分结果进行自适应灰度阈值二值化处理，对二值图像进行形态学操作获取最终目标位置；根据前一帧检测目标位置形成掩膜，反馈到下一帧角点检测，形成一个完整的闭环检测回路。2.根据权利要求1所述的一种动态背景下红外视频的运动目标闭环检测方法，其特征在于：利用高斯滤波器对当前帧红外图像进行噪声滤除，去除红外图像中的高斯白噪声；使用中值滤波器滤除红外图像中的随机点状噪声。3.根据权利要求1所述的一种动态背景下红外视频的运动目标闭环检测方法，其特征在于：判断当前帧是否为前五帧红外图像，如果为前五帧红外图像，则进行粗消除，否则进行细消除；将红外图像分割成大小相同的子块，子块序列i1至i
25
；从i1开始对每一小块使用Shi
‑
Tomasi算法进行角点检测，检测完成对每一小块内的角点数目进行从小到大排序；去除数目最大的5个子块和浓度最小的5个子块，将最终角点进行存储，若判断不是前五帧图像，则在检测时会将上一帧的检测结果反馈到当前帧，使用上一帧运动目标区域生成的掩膜mask，对掩膜区域为零的区域在当前帧上不进行角点检测；对其他区域进行Shi
‑
Tomasi角点检测，完成细消除，使得整个检测方法实现闭环检测；将最终角点检测结果进行存储。4.根据权利要求2所述的一种动态背景下红外视频的运动目标闭环检测方法，其特征在于：使用LK光流金字塔算法对得到的每一个角点在当前帧进行跟踪，得出上一帧的角点P
i
(x0,y0)在当前帧的位置P
i
(x1,y1)，重复该步骤直至所有角点都计算完毕，将所有跟踪点进行存储；再次使用LK光流金字塔算法对上述跟踪点集合进行反向跟踪，得出当前帧的跟踪点P
i
(x1,y1)在前一帧的位置P
i
(x2,y2)，重复该步骤直至所有跟踪点都计算完毕，将所有反向跟踪的跟踪...

【专利技术属性】
技术研发人员：王勇，霍礼乐，范云生，刘婷，王国峰，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：