一种多尺度遥感图像目标检测方法及系统技术方案

本发明专利技术公开了一种多尺度遥感图像目标检测方法及系统，从遥感图像数据集中读取遥感图像，对图像进行预处理，构建训练数据集和测试数据集。构造基于冗余信息消除有效信息传递的多尺度遥感图形目标检测模型，用训练数据集对检测模型进行训练，利用训练好的目标检测模型对测试数据集进行分类；本发明专利技术引入浅层特征图中冗余信息消除策略、有效细节信息向深层特征图传递策略以及前景背景分离策略，提高了目标检测模型对小目标，密集分布目标的检测精度。可用于遥感图像目标检测任务。

【技术实现步骤摘要】
一种多尺度遥感图像目标检测方法及系统
本专利技术属于图像处理
，具体涉及一种多尺度遥感图像目标检测方法及系统。
技术介绍
如今，图像识别技术作为时代的衍生物，已经与人类生活息息相关。深入研究图像识别技术，将对社会的进步和经济的发展产生重要意义。遥感是在模拟人类视觉系统基础上发展起来的一种高科技观测技术。通过检测和度量地物目标电磁辖射量所得到的客观记录，把人眼看得到的和看不到的景物转化为人眼所能看到的图像，重现地物目标电磁辖射特性的空间分布状况。目前，基于深度学习的目标检测算法主要分为两大类，分别为基于区域推荐的目标检测算法和基于回归的目标检测算法。其中，基于区域推荐的目标检测算法主要包括RCNN、Fast-RCNN、Faster-RCNN以及SPPNet等双阶段目标检测器，RCNN利用选择性搜索算法从输入图像中提取感兴趣区域，再使用以及现行回归实现区域分类和边界框校正。SPPNet和Fast-RCNN通过从特征图中提取感兴趣区域来改进RCNN。Faster-RNCN引入区域建议网络RPN产生感兴趣区域，再实现候选区域的目标分类以及位置回归。这些方法都依赖于缓慢的低级区域提议方法。而基于回归的目标检测算法，会直接实现从输入图片到边界框的回归以及类别信息的预测过程，YOLO使用较少的先验框(将图片分为S*S网格)进行分类和回归。SSD在输入图像上密集铺设先验框，并利用不同卷积层的特征实现回归和分类。双阶段目标检测算法精度高但效率低，单阶段目标检测器虽实现了计算效率上的提升，但精度不高。遥感图像与自然图像相比，具有小目标居多，目标尺度多样，目标密集分布等特点。因而，基于深度学习的目标检测算法在遥感图像领域的应用更具有挑战性。泛化性能不理想，算法效率与精度不高等问题在针对遥感图像的目标检测算法中更是普遍存在。
技术实现思路
本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种多尺度遥感图像目标检测方法及系统，针对遥感图像目标检测中的小目标漏检，大目标重复检测以及目标密集分布等问题，对通过特征提取网络得到的不同尺度特征图，首先采用消除冗余信息策略使其更加关注特定尺寸范围内的目标，其次通过有效信息传递策略增强深层特征的细节信息表征能力，最后引入前景背景分离策略实现有效特征增强，生成待检测特征图后用于最终的目标分类和位置回归，可应用于军事目标识别，交通管理，资源勘探，环境监测，灾害预测和海事渔业等遥感图像目标检测相关领域中。本专利技术采用以下技术方案：一种多尺度遥感图像目标检测方法，包括以下步骤：S1、从数据集中读取遥感图像，对遥感图像进行预处理后选取训练数据集和测试数据集；S2、设置先验框的尺寸以及先验框的纵横比ar，纵横比先验框的中心点分布在特征图各个单元的中心，完成先验框设置；S3、定义步骤S2设置的先验框与GroundTruth的匹配原则；S4、构造基于冗余信息消除有效信息传递的多尺度遥感图像目标检测模型，多尺度遥感图像目标检测模型包括基线网络VGG16、冗余信息消除策略模块、有效信息传递策略模块以及前景背景分离策略模块，得到用于检测的特征图以及S5、采用卷积对步骤S4生成的特征图以及进行特征检测，在训练过程中，根据步骤S3定义的匹配原则，与GroundTruth相匹配的先验框负责预测目标，产生对应的预测边界框，根据类别目标分数确定预测边界框类别及置信度值，再过滤掉置信度阈值>0.5的预测边界框，将保留的预测边界框进行解码得到坐标信息，之后根据置信度值保留Top-k个预测边界框，采用NMS算法过滤掉重叠度交并比IOU>0.7的预测边界框，将剩余的预测边界框作为检测结果；S6、根据步骤S5得到的检测结果与GroundTruth标签产生的位置误差、置信度误差以及偏移误差的加权和构造用于引导多尺度遥感图像目标检测模型训练的损失函数；S7、利用步骤S1得到的训练数据集以及步骤S6设置的损失函数，对步骤S4构建的多尺度遥感图像目标检测模型进行训练，得到训练好的多尺度遥感图像目标检测模型；利用训练好的多尺度遥感图像目标检测模型对步骤S1得到的测试数据集进行检测，得到测试数据集中每个类别的检测精度mAP，实现多尺度遥感图像目标检测。具体的，步骤S2中，先验框的尺寸设置规则如下；其中，k∈[1,m]，m为特征图个数，Sk为先验框尺寸与原始图片的比值，Smax和Smin分别表示比值的最大和最小值。具体的，步骤S3中，匹配原则为：训练图片中任意一个GroundTruth与对应GroundTruth的交并比最大的先验框优先匹配，将先验框作为正样本；若一个先验框没有与之对应的GroundTruth，则作为负样本；对未匹配的先验框，若先验框与图片中某一个GroundTruth的交并比大于指定阈值，将未匹配的先验框与对应的GroundTruth进行匹配；采用HardNegativeMining减少负样本数量，使正样本和负样本数量平衡。具体的，步骤S4具体为：S401、将原始输入图片经过基线网络VGG16提取目标特征，得到不同尺度特征图，提取Conv4_3层卷积输出特征图记为p1，再将Conv7,Conv8_2卷积层输出特征经过残差模块进行下采样，得到特征图p2和p3；S402、将步骤S401得到的特征图p1和p2，特征图p2和p3分别输入冗余信息消除策略模块，处理得到消除冗余信息之后的特征图p′1和p′2；S403、将特征图p′2和p1,p1、p2和p3分别输入有效信息传递策略模块得到特征图p″2和p′3，实现浅层特征图中有效细节信息向深层特征图的传递；S404、将特征图p′1p1′、p″2以及p′3分别经过多个残差模块处理，提高特征图语义信息表征能力后，再分别输入前景背景分离策略模块进行处理，得到最终用于检测的特征图以及具体的，步骤S5中，设先验框位置表示为d＝(dcx，dcy，dw，dh)，先验框对应的预测边界框位置表示为b＝(bcx，bxy，bw，h)，边界框的真实预测值l是预测边界框相对于先验框的偏移值，对预测值l进行解码得到边界框的真实位置b，尺寸为m*n的特征图共有m*n个像素单元，每个单元设置k个先验框，每个单元产生k×(C+4)个预测值，所有单元共计生成m×n×k×(C+4)个预测值，对应k×(C+4)个卷积核。具体的，步骤S6中，损失函数为：其中，x表示特征图中任意一点处的像素值，N为正样本先验框数量，为引导参数，当时，表示第i个先验框与第j个GroundTruth匹配，且GroundTruth的类别为p，c为类别置信度预测值，l表示边界框的位置预测值，g为GroundTruth的位置参数，O为预测偏移值，A为计算偏移值，α、β为权重系数。进一步的，位置误差Lloc(c，l，g)定义如下：其中，xij表示第i个先验框与第j个Groun本文档来自技高网...

【技术保护点】
1.一种多尺度遥感图像目标检测方法，其特征在于，包括以下步骤：/nS1、从数据集中读取遥感图像，对遥感图像进行预处理后选取训练数据集和测试数据集；/nS2、设置先验框的尺寸以及先验框的纵横比a

【技术特征摘要】
1.一种多尺度遥感图像目标检测方法，其特征在于，包括以下步骤：
S1、从数据集中读取遥感图像，对遥感图像进行预处理后选取训练数据集和测试数据集；
S2、设置先验框的尺寸以及先验框的纵横比ar，纵横比先验框的中心点分布在特征图各个单元的中心，完成先验框设置；
S3、定义步骤S2设置的先验框与GroundTruth的匹配原则；
S4、构造基于冗余信息消除有效信息传递的多尺度遥感图像目标检测模型，多尺度遥感图像目标检测模型包括基线网络VGG16、冗余信息消除策略模块、有效信息传递策略模块以及前景背景分离策略模块，得到用于检测的特征图以及
S5、采用卷积对步骤S4生成的特征图以及进行特征检测，在训练过程中，根据步骤S3定义的匹配原则，与GroundTruth相匹配的先验框负责预测目标，产生对应的预测边界框，根据类别目标分数确定预测边界框类别及置信度值，再过滤掉置信度阈值>0.5的预测边界框，将保留的预测边界框进行解码得到坐标信息，之后根据置信度值保留Top-k个预测边界框，采用NMS算法过滤掉重叠度交并比IOU>0.7的预测边界框，将剩余的预测边界框作为检测结果；
S6、根据步骤S5得到的检测结果与GroundTruth标签产生的位置误差、置信度误差以及偏移误差的加权和构造用于引导多尺度遥感图像目标检测模型训练的损失函数；
S7、利用步骤S1得到的训练数据集以及步骤S6设置的损失函数，对步骤S4构建的多尺度遥感图像目标检测模型进行训练，得到训练好的多尺度遥感图像目标检测模型；利用训练好的多尺度遥感图像目标检测模型对步骤S1得到的测试数据集进行检测，得到测试数据集中每个类别的检测精度mAP，实现多尺度遥感图像目标检测。


2.根据权利要求1所述的方法，其特征在于，步骤S2中，先验框的尺寸设置规则如下；



其中，k∈[1,m]，m为特征图个数，Sk为先验框尺寸与原始图片的比值，Smax和Smin分别表示比值的最大和最小值。


3.根据权利要求1所述的方法，其特征在于，步骤S3中，匹配原则为：
训练图片中任意一个GroundTruth与对应GroundTruth的交并比最大的先验框优先匹配，将先验框作为正样本；若一个先验框没有与之对应的GroundTruth，则作为负样本；对未匹配的先验框，若先验框与图片中某一个GroundTruth的交并比大于指定阈值，将未匹配的先验框与对应的GroundTruth进行匹配；采用HardNegativeMining减少负样本数量，使正样本和负样本数量平衡。


4.根据权利要求1所述的方法，其特征在于，步骤S4具体为：
S401、将原始输入图片经过基线网络VGG16提取目标特征，得到不同尺度特征图，提取Conv4_3层卷积输出特征图记为p1，再将Conv7,Conv8_2卷积层输出特征经过残差模块进行下采样，得到特征图p2和p3；
S402、将步骤S401得到的特征图p1和p2，特征图p2和p3分别输入冗余信息消除策略模块，处理得到消除冗余信息之后的特征图p′1和p′2；
S403、将特征图p′2和p1,p1、p2和p3分别输入有效信息传递策略模块得到特征图p″2和p′3，实现浅层特征图中有效细节信息向深层特征图的传递；
S404、将特征图p′1p′1、p″2以及p′3分别经过多个残差模块处理，提高特征图语义信息表征能力后，再分别输入前景背景分离策略模块进行处理，得到最终用于检测的特征图以及


5.根据权利要求1所述的方法，其特征在于，步骤S5中，设先验框位置表示为d＝(dcx,dcy,dw,dh)，先验框对应的预测边界框位置表示为b＝(bcx,bxy,bw,bh)，边界框的真实预测值l是预测边界框相对于先验框的偏移值，对预测值l进行解码得到边界框的真实位置b，尺寸为m*n的特征图共有m*n个像素单元，每个单元设置k个先验框，每个单元产生k×(C+4)个预测值，所有单元共计生成m×n×k×(C+4)个预测值，对应k...

【专利技术属性】
技术研发人员：马文萍，李娜，朱浩，李腾武，焦李成，侯彪，武越，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61