基于多尺度光流估计的红外小目标检测方法、系统技术方案

本发明专利技术公开了一种基于多尺度光流估计的红外小目标检测方法、系统，提取当前处理帧图像的前两帧图像和后两帧图像；利用多尺度光流重建网络对当前处理帧图像、前两帧图像和后两帧图像的组合进行处理，得到四个光流信息；利用所述四个光流信息进行运动补偿，生成当前帧的补偿时序信息；将补偿时序信息输入单帧红外目标检测网络，抽取单帧红外目标检测网络输出结果中的空间信息，得到检测结果。本发明专利技术整合了多帧红外小目标检测和运动估计任务，以从多帧图像中推断出重建的光流，使提取的运动信息能够更好地用于单帧红外小目标检测任务。由于使用了多次融合，使得光流信息更加准确，因此检测效果更好，尤其是目标运动大的情况下，检测效果提升明显。测效果提升明显。测效果提升明显。

【技术实现步骤摘要】
基于多尺度光流估计的红外小目标检测方法、系统


[0001]本专利技术涉及运动红外小目标检测技术，特别是一种基于多尺度光流估计的红外小目标检测方法、系统。

技术介绍

[0002]常用的运动红外小目标检测方法通常使用光流估计来得到相邻帧的时间信息。
[0003]光流法的工作原理基于如下假设：
[0004]1)亮度恒定：就是两帧对应的同一点随着时间的变化，其亮度不会发生改变。这是基本光流法的假定(所有光流法变种都必须满足)，用于得到光流法基本方程。对于灰度图像这意味着像素的灰度值不会随着帧的跟踪而改变。
[0005]2)时间持续性(微小移动)：就是时间的变化不会引起位置的剧烈变化，这样灰度才能对位置求偏导，换言之，小运动情况下才能用前后帧之间单位位置变化引起的灰度变化去近似灰度对位置的偏导数，这也是光流法不可或缺的假定。图像上相机的移动随时间变化缓慢。这意味着时间的变化不会引起像素位置的剧烈变化，这样像素的灰度值才能对位置求对应的偏导数。
[0006]红外小目标的成像特性与运动场景决定了光流法的假设2)难以满足。
[0007]运动(多帧)红外小目标检测的目的是捕捉时间信息，并将其整合到当前帧中，以便更好地进行检测。运动(多帧)红外小目标检测与单帧红外小目标检测的区别在于运动(多帧)红外小目标检测利用了时域信息。运动红外小目标检测中如何提取时域信息是最重要的问题。
[0008]光流是指在连续的两帧图像中由于图像中的物体移动或者摄像头的移动导致的图像中目标像素的移动。光流是一个二维矢量场，表示一个点从第一帧到第二帧的位移。光流法是常用的提取时域信息的方法之一。
[0009]若使用光流法提取时域信息，常基于相邻两帧照片运动幅度较小的假设。然而在红外领域，待检测目标通常很小，运动速度快，当成像视场大时成像速度慢，提取时域信息会产生较大误差。

技术实现思路

[0010]本专利技术所要解决的技术问题是，针对现有技术不足，提供一种基于多尺度光流估计的红外小目标检测方法、系统，有效地利用连续帧之间的时间信息，提高检测精度。
[0011]为解决上述技术问题，本专利技术所采用的技术方案是：一种基于多尺度光流估计的红外小目标检测方法，包括以下步骤：
[0012]S1、提取当前处理帧图像的前两帧图像和后两帧图像；
[0013]S2、利用多尺度光流重建网络对当前处理帧图像、前两帧图像和后两帧图像的组合进行处理，得到四个光流信息；
[0014]S3、利用所述四个光流信息进行运动补偿，生成当前帧的补偿时序信息；
[0015]S4、将补偿时序信息输入单帧红外目标检测网络，抽取单帧红外目标检测网络输出结果中的空间信息，得到检测结果。
[0016]本专利技术整合了多帧红外小目标检测和运动估计任务，以从多帧图像中推断出重建的光流，使提取的运动信息能够更好地用于单帧红外小目标检测任务。由于使用了多次融合(多尺度光流重建网络)，使得光流信息更加准确，因此检测效果更好，尤其是目标运动大的情况下，检测效果提升明显。
[0017]本专利技术中的“当前处理帧图像、前两帧图像和后两帧图像的组合”，是指将前一帧和当前帧为一组输入到网络，前两帧和当前帧为一组输入到网络，依此类推。
[0018]步骤S2中，利用多尺度光流重建网络获取光流信息的具体实现过程包括：
[0019]1)对于当前帧图像及后两帧图像，即第t帧图像和第t+2帧图像，分别下采样8倍，得到第一输入和第二输入；
[0020]2)将所述第一输入和第二输入作为第一卷积重建网络的输入，得到第一级光流信息；
[0021]3)放大所述第一级光流信息，并将放大后的第一级光流信息、第t帧图像和第t+2帧图像分别下采样4倍的图像依次进行拼接和映射操作(例如，I
t+1
到I
t
的光流O代表了估计的每个像素偏移，使用偏移移动I
t+1
的每一个像素，使其与I
t
对齐)，得到第三输入，将所述第三输入作为第二卷积重建网络的输入，得到第二级光流信息；
[0022]4)放大所述第二级光流信息，并将放大后的第二级光流信息、第t帧图像和第t+2帧图像分别下采样2倍的图像依次进行拼接和warp操作(即映射操作)，得到第四输入，将所述第四输入作为第三卷积重建网络的输入，得到第三级光流信息；
[0023]5)放大所述第三级光流信息，并将放大后的第二级光流信息、第t帧图像和第t+2帧图像依次进行拼接和warp操作，得到第五输入，将所述第五输入作为第四卷积重建网络的输入，得到第四级光流信息，即得到当前组合的光流信息。
[0024]本专利技术中，从粗到精的多尺度光流重建网络能够更好的提取时域信息，使得估计的光流信息更加准确，因此可以提高运动红外小目标检测的精度。
[0025]本专利技术中，所述第一～第四卷积重建网络包括依次拼接的第一卷积层、第一残差模块、第二残差模块、第二卷积层、第三卷积层；所述第一卷积层的输出与第二残差模块的输出拼接，形成第二卷积层的输入。
[0026]本专利技术步骤S3的具体实现过程包括：
[0027]A)将第t
‑
2帧图像与第t帧图像组合产生的光流信息与第t
‑
2帧图像进行warp操作，对其余三个光流信息与对应帧图像进行warp操作；
[0028]B)对步骤A)获得的四个输出结果与第t帧图像进行拼接操作，得到拼接结果；
[0029]C)将所述拼接结果输入串联卷积层，得到当前帧的补偿时序信息。
[0030]本专利技术中，所述串联卷积层包括两个串联的卷积模块。
[0031]本专利技术中，所述单帧红外目标检测网络采用ResNet18网络。
[0032]作为一个专利技术构思，本专利技术还提供了一种基于多尺度光流估计的快速运动红外小目标检测系统，其包括：
[0033]图像采集模块，用于提取当前处理帧图像，即第t帧图像的前两帧图像和后两帧图像；
[0034]多尺度光流重建网络，用于对当前处理帧图像、前两帧图像和后两帧图像的组合进行处理，得到四个光流信息；
[0035]运动补偿模块，用于利用所述四个光流信息进行运动补偿，生成当前帧的补偿时序信息；
[0036]单帧红外目标检测网络，用于利用补偿时序信息获得检测结果。
[0037]所述多尺度光流重建网络包括四个级联的卷积重建网络；所述卷积重建网络包括依次拼接的第一卷积层、第一残差模块、第二残差模块、第二卷积层、第三卷积层；所述第一卷积层的输出与第二残差模块的输出拼接，形成第二卷积层的输入。
[0038]作为一个专利技术构思，本专利技术还提供了一种终端设备，包括存储器、处理器及存储在存储器上的计算机程序；所述处理器执行所述计算机程序，以实现本专利技术上述方法的步骤。
[0039]作为一个专利技术构思，本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序/指令；所述计算机程序/指令被处理器执行时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度光流估计的红外小目标检测方法，其特征在于，包括以下步骤：S1、提取当前处理帧图像的前两帧图像和后两帧图像；S2、利用多尺度光流重建网络对当前处理帧图像、前两帧图像和后两帧图像的组合进行处理，得到四个光流信息；S3、利用所述四个光流信息进行运动补偿，生成当前帧的补偿时序信息；S4、将补偿时序信息输入单帧红外目标检测网络，抽取单帧红外目标检测网络输出结果中的空间信息，得到检测结果。2.根据权利要求1所述的基于多尺度光流估计的红外小目标检测方法，其特征在于，步骤S2中，利用多尺度光流重建网络获取光流信息的具体实现过程包括：1)对于当前帧图像及后两帧图像，即第t帧图像和第t+2帧图像，分别下采样8倍，得到第一输入和第二输入；2)将所述第一输入和第二输入作为第一卷积重建网络的输入，得到第一级光流信息；3)放大所述第一级光流信息，并将放大后的第一级光流信息、第t帧图像和第t+2帧图像分别下采样4倍的图像依次进行拼接和映射操作，得到第三输入，将所述第三输入作为第二卷积重建网络的输入，得到第二级光流信息；4)放大所述第二级光流信息，并将放大后的第二级光流信息、第t帧图像和第t+2帧图像分别下采样2倍的图像依次进行拼接和映射操作，得到第四输入，将所述第四输入作为第三卷积重建网络的输入，得到第三级光流信息；5)放大所述第三级光流信息，并将放大后的第二级光流信息、第t帧图像和第t+2帧图像依次进行拼接和映射操作，得到第五输入，将所述第五输入作为第四卷积重建网络的输入，得到第四级光流信息，即得到当前组合的光流信息。3.根据权利要求2所述的基于多尺度光流估计的红外小目标检测方法，其特征在于，所述第一～第四卷积重建网络包括依次拼接的第一卷积层、第一残差模块、第二残差模块、第二卷积层、第三卷积层；所述第一卷积层的输出与第二残差模块的输出拼接，形成第二卷积层的输入。4.根据权利要求1所述的基于多尺度光流估...

【专利技术属性】
技术研发人员：凌强，罗伊杭，李淼，林再平，曾瑶源，吴京，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：