一种红外图像目标检测方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种红外图像目标检测方法、装置、设备及存储介质，包括：建立红外图像数据集，并进行数据增强预处理，生成训练样本集；根据嵌入式平台所支持的算子与所提供的算力，构建红外图像目标检测网络，其主干网络采用1个focus图像重排模块、多个带有残差结构的Ghost‑depthWise卷积模块和1个SPP卷积模块进行构建；其多尺度目标检测层采用FPN网络结合PAN网络进行构建；使用训练样本集对网络进行训练；对训练完的网络进行通道剪枝并重新训练；按照目标平台要求对重新训练完的网络进行转换。这样避免了使用复杂的算子计算，舍弃冗余特征信息，丰富特征的表征内容，不存在模组转换问题，运算速度快，检测精度高。

【技术实现步骤摘要】
一种红外图像目标检测方法、装置、设备及存储介质
本专利技术涉及红外图像处理领域，特别是涉及一种红外图像目标检测方法、装置、设备及存储介质。
技术介绍
近年来，红外成像技术在自动驾驶、智能安防、遥感以及工业监测等领域得到广泛的应用，鉴于全天候不间断侦测的需求，双光设备(可见光+红外)部署越来越多，同时对于视觉图像处理技术的需求也逐渐增多。在天气状况良好时，利用普通可见设备可满足绝大部分需求，然而在雨天、雾天或夜间等状况下可见光设备成像效果较差，不利于后端图像处理，长波红外利用其被动成像原理恰好可弥补可见光在恶劣天气无法获取高质量图像效果的情况。在利用双光设备进行实时监测的应用领域中，目标检测和分类是其重要机器视觉业务需求之一。随着智能科学技术与社会的共同发展，人工智能技术在目标检测和识别领域取得了很深的进展，在各类场景中都取得了极好的识别效果。典型的单阶段目标检测网络包括DetectorNet、OverFeat、YOLO系列和SSD(SingleShotDetector)等，具有速度快精度稍低等特点；典型的双阶段目标检测网络包括RCNN系列、SPPNet(SpatialPyramidPooling)、RFCN(RegionbasedFullyConvNet)和MRCNN等，具有检测精度高运行速度慢等特点。上述网络其骨干结构多为VGG、ResNet、GoogleNet、Darknet或AlexNet等，一方面它们大多应用于RGB彩色图像，通常可以较为容易的提取其颜色、纹理等特征用于网络训练，得到较为精确的识别和定位，而对于红外图像，主要是通过提取其轮廓特征进行识别，所以一般的深度目标检测网络不能很好的直接迁移应用于红外图像；另一方面当前目标检测网络模型相对于低成本低算力嵌入式平台上仍然难以部署，在模型推理过程会消耗大量的计算资源和存储资源，导致无法在相同嵌入式平台上同时运行其他业务，若所设计的网络模型中有较多自定义算子或较新算子时，并且需要部署的平台无法对该算子进行解析计算，则整个模型设计工作需要从头开始。基于传统运动目标检测的方式虽然可完成目标定位，但无法判断所侦测到的目标类别(人、车、非机动车等)，并且传统方法比较适用于监测设备固定的情况下，即背景是基本不发生变化的情况，若搭载的设备是车载或转动云台等设备时刻在发生变换的场景，使用传统方法会出现大量误检测。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种红外图像目标检测方法、装置、设备及存储介质，可以解决当前基于深度学习的人车目标检测网络模型复杂、参数过多、运算慢、对红外小目标检测差的问题。其具体方案如下：一种红外图像目标检测方法，包括：建立红外图像数据集，并进行数据增强预处理，生成训练样本集；根据嵌入式平台所支持的算子与所提供的算力，构建红外图像目标检测网络；所述红外图像目标检测网络的目标特征提取主干网络采用1个focus图像重排模块、多个带有残差结构的Ghost-depthWise卷积模块和1个SPP卷积模块进行构建；所述红外图像目标检测网络的多尺度目标检测层采用由FPN网络和PAN网络组合的金字塔结构进行构建；使用所述训练样本集对构建的所述红外图像目标检测网络进行训练；对训练完成的所述红外图像目标检测网络进行通道剪枝并重新训练；按照目标平台要求，使用嵌入式平台AI模块转换工具链对重新训练完成的所述红外图像目标检测网络进行转换。优选地，在本专利技术实施例提供的上述红外图像目标检测方法中，在所述建立红外图像数据集之后，还包括：对所述红外图像数据集使用矩形框对目标进行标注，并记录所述矩形框的坐标位置；在标注阶段对于重叠率大于90％的两个目标标注为一个目标，并在所有目标标注完成后将目标像素面积占比小于万分之三的标注信息删除。优选地，在本专利技术实施例提供的上述红外图像目标检测方法中，所述进行数据增强预处理，包括：每次从所述红外图像数据集中随机选取四张图像，从四张图像中随机选取一张作为底版图像；将其余三幅图像等比例缩放至底版图像大小；将其余三幅图像中的目标随机选择抠出，将抠出来的目标进行随机缩放，缩放后的大小不能超过图像总像素面积的1/16；将抠出的三幅图像目标随机缩放后随机粘贴到底版图像中；若目标随机粘贴的位置覆盖已经在图像存在目标的60％以上或目标随机粘贴的位置超出图像边界，则舍弃当前抠出的目标；对粘贴的目标所标注的矩形框的坐标位置进行相应的调整。优选地，在本专利技术实施例提供的上述红外图像目标检测方法中，所述focus图像重排模块利用focus结构对图像进行切片操作来扩展图像的通道数目；所述Ghost-depthWise卷积模块通过深度可分离卷积生成第一特征图，通过分组1x1卷积操作结合所述第一特征图生成第二特征图，并将所述第一特征图和所述第二特征图中的信息进行组合，得到具有全部特征信息的特征图；所述SPP卷积模块在不同尺度上将特征图划分成不同的空间区域，在每个区域上计算特征向量，并将计算得到的所有特征向量组合起来，以将任意分辨率的特征图转换为与全连接层相同维度的特征向量；所述focus图像重排模块与第一个所述Ghost-depthWise卷积模块之间采用步长为1的卷积层进行连接；相邻两个所述Ghost-depthWise卷积模块之间采用步长为2的卷积层进行连接；最后一个Ghost-depthWise卷积模块与所述SPP卷积模块之间采用步长为2的卷积层进行连接；所述Ghost-depthWise卷积模块的通道数目沿图像输入至输出的方向为递增模式。优选地，在本专利技术实施例提供的上述红外图像目标检测方法中，在进行目标检测之后，使用非极大值抑制约束对所述红外图像目标检测网络输出的目标检测结果进行筛选。优选地，在本专利技术实施例提供的上述红外图像目标检测方法中，在训练所述红外图像目标检测网络时，回归定位预测选择softmax损失函数，分类预测选择交叉熵损失函数。优选地，在本专利技术实施例提供的上述红外图像目标检测方法中，所述对训练完成的所述红外图像目标检测网络进行通道剪枝并重新训练，包括：统计训练完成的所述红外图像目标检测网络的目标特征提取主干网络中各卷积层的通道方向上的内核权重值之和；根据所述权重值之和的大小和各卷积层设置的裁剪比例，对相应的卷积层进行裁剪；其中，所述focus图像重排模块与第一个所述Ghost-depthWise卷积模块之间的卷积层以及所述FPN网络连接的卷积层不进行裁剪；将已发生过裁剪的卷积层使用未裁剪的权重作为所述红外图像目标检测网络的初始化参数，未发生过任何裁剪的卷积层在训练过程中权重不更新，对所述红外图像目标检测网络进行重新训练。本专利技术实施例还提供了一种红外图像目标检测装置，包括：训练集生成单元，用于建立红外图像数据集，并进行数据增强预处理，生成训练样本集；网络构建单元，用于根据嵌入式平台所支持的算子与所提供的算力，构建红外图像目标检测网络；所述红外图像本文档来自技高网...

【技术保护点】
1.一种红外图像目标检测方法，其特征在于，包括：/n建立红外图像数据集，并进行数据增强预处理，生成训练样本集；/n根据嵌入式平台所支持的算子与所提供的算力，构建红外图像目标检测网络；所述红外图像目标检测网络的目标特征提取主干网络采用1个focus图像重排模块、多个带有残差结构的Ghost-depthWise卷积模块和1个SPP卷积模块进行构建；所述红外图像目标检测网络的多尺度目标检测层采用由FPN网络和PAN网络组合的金字塔结构进行构建；/n使用所述训练样本集对构建的所述红外图像目标检测网络进行训练；/n对训练完成的所述红外图像目标检测网络进行通道剪枝并重新训练；/n按照目标平台要求，使用嵌入式平台AI模块转换工具链对重新训练完成的所述红外图像目标检测网络进行转换。/n

【技术特征摘要】
1.一种红外图像目标检测方法，其特征在于，包括：
建立红外图像数据集，并进行数据增强预处理，生成训练样本集；
根据嵌入式平台所支持的算子与所提供的算力，构建红外图像目标检测网络；所述红外图像目标检测网络的目标特征提取主干网络采用1个focus图像重排模块、多个带有残差结构的Ghost-depthWise卷积模块和1个SPP卷积模块进行构建；所述红外图像目标检测网络的多尺度目标检测层采用由FPN网络和PAN网络组合的金字塔结构进行构建；
使用所述训练样本集对构建的所述红外图像目标检测网络进行训练；
对训练完成的所述红外图像目标检测网络进行通道剪枝并重新训练；
按照目标平台要求，使用嵌入式平台AI模块转换工具链对重新训练完成的所述红外图像目标检测网络进行转换。


2.根据权利要求1所述的红外图像目标检测方法，其特征在于，在所述建立红外图像数据集之后，还包括：
对所述红外图像数据集使用矩形框对目标进行标注，并记录所述矩形框的坐标位置；
在标注阶段对于重叠率大于90％的两个目标标注为一个目标，并在所有目标标注完成后将目标像素面积占比小于万分之三的标注信息删除。


3.根据权利要求2所述的红外图像目标检测方法，其特征在于，所述进行数据增强预处理，包括：
每次从所述红外图像数据集中随机选取四张图像，从四张图像中随机选取一张作为底版图像；
将其余三幅图像等比例缩放至底版图像大小；
将其余三幅图像中的目标随机选择抠出，将抠出来的目标进行随机缩放，缩放后的大小不能超过图像总像素面积的1/16；
将抠出的三幅图像目标随机缩放后随机粘贴到底版图像中；若目标随机粘贴的位置覆盖已经在图像存在目标的60％以上或目标随机粘贴的位置超出图像边界，则舍弃当前抠出的目标；
对粘贴的目标所标注的矩形框的坐标位置进行相应的调整。


4.根据权利要求3所述的红外图像目标检测方法，其特征在于，所述focus图像重排模块利用focus结构对图像进行切片操作来扩展图像的通道数目；
所述Ghost-depthWise卷积模块通过深度可分离卷积生成第一特征图，通过分组1x1卷积操作结合所述第一特征图生成第二特征图，并将所述第一特征图和所述第二特征图中的信息进行组合，得到具有全部特征信息的特征图；
所述SPP卷积模块在不同尺度上将特征图划分成不同的空间区域，在每个区域上计算特征向量，并将计算得到的所有特征向量组合起来，以将任意分辨率的特征图转换为与全连接层相同维度的特征向量；
所述focus图像重排模块与第一个所述Ghost-depthWise卷积模块之间采用步长为1的卷积层进行连接；相邻两个所述Ghost-depthWise卷积模块之间采用...

【专利技术属性】
技术研发人员：徐召飞，金荣璐，刘晴，王云奇，王水根，
申请(专利权)人：烟台艾睿光电科技有限公司，
类型：发明
国别省市：山东;37