一种红外小目标实时实例分割方法及装置制造方法及图纸

本发明专利技术提供了一种红外小目标实时实例分割方法及装置，根据红外小目标特征属性拍摄大量复杂背景的红外小目标图像作为训练数据源，对红外小目标图像训练样本进行预处理，采用标注工具进行小目标二值掩膜制作；利用轻量化主干网络和特征金字塔瓶颈网络相结合的网络结构提取红外小目标图像的多级特征，对多级特征中的逐个像素点预设3个大小不同的先验框。采用置信度得分阈值法过滤低于0.05置信度得分的候选框，对剩余的候选框进行非极大值抑制操作，选取前100个候选框。最后将原型掩模和掩模系数线性相结合获取掩模模板。本发明专利技术提供的实时实例分割方法能够更好地适应复杂背景，增强了对地面等景物的抗干扰能力，扩大了该方法的应用范围。

【技术实现步骤摘要】
一种红外小目标实时实例分割方法及装置
本专利技术涉及红外目标图像处理领域，尤其涉及一种红外小目标实时实例分割方法及装置。
技术介绍
实例分割作为图像处理和计算机视觉领域中的经典课题之一，广泛的应用于自动驾驶、图像检索、交通监控等方面。红外热成像广泛运用于安防监控、军事侦查、夜间行车、航运等领域。红外图像反应的是物体的相对温度信息。红外成像受天气因素的影响较小。在无光与雨雾天气，相对于照明摄像头、夜视等设备红外光谱成像具有探测距离远、探测可靠性高等优势，但红外成像具有分辨率较低，细节模糊等缺点。深度学习在可见光图像目标分割上展现出了良好的分割性能，但是红外图像中如背景存在多个热源会造成目标与背景差异较小，使得传统分割方法对于红外小目标实例分割的适应性较差。此外，基于深度学习的实例分割算法都有计算量大、计算复杂的缺点,不能满足实时处理的要求。因此，亟需研究一种能处理复杂场景，并利于工程实现的红外小目标图像实时实例分割方法。战场环境中，只有尽早发现敌方，料敌先机，才能先发制人。这就要求光电设备在远距离时，当目标成像所占像素较少，对比度较小时就要检测并标记出目标。现实场景里，背景非常复杂，使得较小目标经常淹没在其他非关注背景中，信噪比较低，难以辨认。当深层神经网络的训练方法得到突破后，卷积神经网络在目标检测应用上相对于传统算法已经体现出巨大的优势，在其基础上发展得到的实例分割算法，在目标检测、定位和分割应用上已经得到了比较好的结果。但是，针对战场应用场景，此类目标分割算法也存在较大局限性，对于较小目标并不适用。基于深度学习的实例分割算法都是针对较大的、纹理较为丰富的目标进行检测识别分割，为了实现多尺度下的目标检测，其网络结构中使用了多次下采样操作，而小的目标经过多次下采样后，在特征图上已经没有任何信息。再者，人眼辨认小目标，其运动变化特性也是非常重要的一个特征。红外图像小目标具有细节模糊，分辨率较低等缺点，虽然目前深度学习方法在可见光实例检测上展现出了良好的分割性能，但是此类算法都有计算量大、计算复杂的缺点,不能满足实时处理的要求。
技术实现思路
为了解决上述问题，本专利技术实施例提供一种克服上述问题或者至少部分地解决上述问题的红外小目标实时实例分割方法及装置。第一方面，本专利技术实施例提供一种红外小目标实时实例分割方法，包括：S1，采集多种场景下的红外小目标图像数据训练样本集；S2，对红外小目标图像训练样本进行预处理，采用标注工具进行小目标二值实例掩膜制作；S3，采用轻量化网络作为神经网络模型的主干网络，将红外小目标图像训练样本输入主干网络中，提取红外小目标图像的多级特征，基于多级特征生成多级特征图候选框；S4，过滤置信度得分低于预设置信度阈值的候选框后，对剩余的候选框进行非极大值抑制操作，获取置信度满足条件的候选框对应的置信度得分，坐标和掩模系数；S5，基于主干网络生成原型掩膜，将步骤S4得到的掩模系数与所述原型掩膜进行矩阵乘法运算，获得最终的二值掩模；S6，计算神经网络模型的损失函数，利用损失函数对神经网络模型进行迭代，生成训练完成的红外小目标实时实例分割模型。进一步，步骤S1中，采集多种场景下的红外小目标图像数据训练样本集，具体包括：S101，采用中波红外相机采集不同复杂场景下，不同采集目标的红外小目标图像；其中，采集目标包括但不限于行人、汽车和卡车；S102，多次改变数据采集地点、中波红外相机的拍摄参数，获得红外小目标图像数据训练样本集。进一步，步骤S2中，对红外小目标图像训练样本进行预处理，具体包括：S201，对红外小目标图像训练样本采用非线性动态范围压缩法进行处理；S202，采用限制对比度自适应直方图均衡法对压缩后的红外小目标图像训练样本进行局部细节增强。S203，采用绘图软件对红外小目标轮廓进行描绘，然后对红外小目标图像训练样本种各类别目标和背景赋予种不同颜色，生成二值掩模模板图；S204，通过旋转变换、平移变换、尺度变换、翻转变换、缩放变换、投影变换、随机修剪、色彩抖动、对比度变换和噪声扰动方法对红外小目标图像训练样本进行数据增强；S205，基于红外小目标图像训练样本的数据类别不平衡的特点，采用类别平衡策略进行数据增广；对所述红外小目标图像训练样本进行随机排序。进一步，步骤S3具体包括：S301，针对实时实例分割要求，采用轻量化主干网络和特征金字塔网络相结合，提取红外小目标图像多级特征；S302，对多级特征中的逐个像素点预设三种大小不同先验框，获得多个候选框。进一步，步骤S4具体包括：S401，将置信度得分低于预设置信度阈值的候选框过滤，对剩余的候选框进行非极大值抑制法操作，保留置信度得分排名前100的候选框；S402，对置信度得分排名前100的候选框进行边界框解码，设置variance超参数来调整解码预测值。进一步，步骤S5中，基于主干网络生成原型掩膜，将步骤S4得到的掩模系数与所述原型掩膜进行矩阵乘法运算，具体包括：S501，基于主干网络获取原型掩模；S502，将步骤S4得到的掩模系数与所述原型掩膜进行矩阵乘法运算，获得掩模模板M：M＝σ(PCT)其中，P是原型掩模集合，C是n×k的掩模系数集合，代表有n个通过非极大值抑制和阈值过滤的候选框实例，每个候选框实例对应有k个掩模系数；S503，将S502通过矩阵乘法获得的掩模模板M上采样为原始图像大小，获得最终的二值掩模。进一步，所述红外小目标实时实例分割模型的损失函数L为：其中，x为预测框的类别信息，c为预测框类别信息的置信度，l为预测框的位置信息，g为真实框的位置信息，N为与预先标注的真实目标框相匹配的先验框的个数，α是权值系数，α为1；Lconf(x,c)为类别损失，采用交叉嫡损失函数；Lloc(x,l,g)为位置损失，采用SmoothL1损失函数。第二方面，本专利技术实施例还提供一种红外小目标实时实例分割装置，包括：采集模块，用于采集多种场景下的红外小目标图像数据训练样本集；预处理模块，用于对红外小目标图像训练样本进行预处理，采用标注工具进行小目标二值实例掩膜制作；多级特征提取模块，用于采用轻量化网络作为神经网络模型的主干网络，将红外小目标图像训练样本输入主干网络中，提取红外小目标图像的多级特征，基于多级特征生成多级特征图候选框；候选框过滤模块，用于过滤置信度得分低于预设置信度阈值的候选框后，对剩余的候选框进行非极大值抑制操作，获取置信度满足条件的候选框对应的置信度得分，坐标和掩模系数；掩膜获得模块，用于基于主干网络生成原型掩膜，将步骤S4得到的掩模系数与所述原型掩膜进行矩阵乘法运算，获得最终的二值掩模；迭代训练模块，用于计算神经网络模型的损失函数，利用损失函数对神经网络模型进行迭代，生成训练完成的红外小目标实时实例分割模型。第三方面，本专利技术实施例提供了一本文档来自技高网...

【技术保护点】
1.一种红外小目标实时实例分割方法，其特征在于，包括：/nS1，采集多种场景下的红外小目标图像数据训练样本集；/nS2，对红外小目标图像训练样本进行预处理，采用标注工具进行小目标二值实例掩膜制作；/nS3，采用轻量化网络作为神经网络模型的主干网络，将红外小目标图像训练样本输入主干网络中，提取红外小目标图像的多级特征，基于多级特征生成多级特征图候选框；/nS4，过滤置信度得分低于预设置信度阈值的候选框后，对剩余的候选框进行非极大值抑制操作，获取置信度满足条件的候选框对应的置信度得分，坐标和掩模系数；/nS5，基于主干网络生成原型掩膜，将步骤S4得到的掩模系数与所述原型掩膜进行矩阵乘法运算，获得最终的二值掩模；/nS6，计算神经网络模型的损失函数，利用损失函数对神经网络模型进行迭代，生成训练完成的红外小目标实时实例分割模型。/n

【技术特征摘要】
1.一种红外小目标实时实例分割方法，其特征在于，包括：
S1，采集多种场景下的红外小目标图像数据训练样本集；
S2，对红外小目标图像训练样本进行预处理，采用标注工具进行小目标二值实例掩膜制作；
S3，采用轻量化网络作为神经网络模型的主干网络，将红外小目标图像训练样本输入主干网络中，提取红外小目标图像的多级特征，基于多级特征生成多级特征图候选框；
S4，过滤置信度得分低于预设置信度阈值的候选框后，对剩余的候选框进行非极大值抑制操作，获取置信度满足条件的候选框对应的置信度得分，坐标和掩模系数；
S5，基于主干网络生成原型掩膜，将步骤S4得到的掩模系数与所述原型掩膜进行矩阵乘法运算，获得最终的二值掩模；
S6，计算神经网络模型的损失函数，利用损失函数对神经网络模型进行迭代，生成训练完成的红外小目标实时实例分割模型。


2.根据权利要求1所述的红外小目标实时实例分割方法，其特征在于，步骤S1中，采集多种场景下的红外小目标图像数据训练样本集，具体包括：
S101，采用中波红外相机采集不同复杂场景下，不同采集目标的红外小目标图像；其中，采集目标包括但不限于行人、汽车和卡车；
S102，多次改变数据采集地点、中波红外相机的拍摄参数，获得红外小目标图像数据训练样本集。


3.根据权利要求1所述的红外小目标实时实例分割方法，其特征在于，步骤S2中，对红外小目标图像训练样本进行预处理，具体包括：
S201，对红外小目标图像训练样本采用非线性动态范围压缩法进行处理；
S202，采用限制对比度自适应直方图均衡法对压缩后的红外小目标图像训练样本进行局部细节增强。
S203，采用绘图软件对红外小目标轮廓进行描绘，然后对红外小目标图像训练样本种各类别目标和背景赋予种不同颜色，生成二值掩模模板图；
S204，通过旋转变换、平移变换、尺度变换、翻转变换、缩放变换、投影变换、随机修剪、色彩抖动、对比度变换和噪声扰动方法对红外小目标图像训练样本进行数据增强；
S205，基于红外小目标图像训练样本的数据类别不平衡的特点，采用类别平衡策略进行数据增广；对所述红外小目标图像训练样本进行随机排序。


4.根据权利要求1所述的红外小目标实时实例分割方法，其特征在于，步骤S3具体包括：
S301，针对实时实例分割要求，采用轻量化主干网络和特征金字塔网络相结合，提取红外小目标图像多级特征；
S302，对多级特征中的逐个像素点预设三种大小不同先验框，获得多个候选框。


5.根据权利要求1所述的红外小目标实时实例分割方法，其特征在于，步骤S4具体包括：
S401，将置信度得分低于预设置信度阈值的候选框过滤，对剩余的候选框进行非极大值抑制法操作，保留置信度得分排名前1...

【专利技术属性】
技术研发人员：荆楠，雷波，李忠，刘班，陈余根，
申请(专利权)人：华中光电技术研究所中国船舶重工集团公司第七一七研究所，
类型：发明
国别省市：湖北;42