【技术实现步骤摘要】
本专利技术涉及一种基于多模型集成和渐进式预测的遥感图像目标检测识别方法，属于目标探测与识别。
技术介绍
1、随着高分辨率遥感成像技术的发展，图像具备更精细化的纹理细节特征，使得典型目标的检测和细粒度识别成为可能。其中，以飞机、舰船为代表的特定目标因其在军事与民用领域中的巨大价值，一直是遥感图像处理领域重要的研究目标。通过遥感图像实现高价值目标快速检测识别对军事动态分析、战场防御预警、民用航线规划、安全搜救等具有重要意义。
2、早期的检测识别方法针对不同种类的目标需要人为设计图像特征提取算子，对于面目标常用的特征包括几何轮廓特征、纹理边缘特征、对称性等。但是此类方法对目标特征的表征能力有限，仅能适用于特定场景下的目标检测。随着硬件计算能力的提升和数据样本的激增，基于深度学习的方法兴起并逐步应用于遥感图像目标检测识别任务之中。此类方法可以自适应学习到目标更具鲁棒性的、强表征能力的特征。
3、scmask rcnn在mask rcnn的主干特征提取网络中使用了一种改进的自校准卷积(sc-conv)，以获得目标更具判别性的特征。glf-net采用了编码器-解码器架构，利用全局和局部多尺度特征融合来提高目标检测的准确性。hff-yolo则提出了一种手工特征融合，通过将目标的先验知识与深度特征相结合，来增强检测效果。
4、现有方法注重于设计特征增强和特征融合结构提升网络对于遥感图像目标的感知能力。但是，受制于复杂遥感场景、特殊目标特性等因素制约，现有方法对于目标检测识别精度的提升有限。具体而言，卫星图像由
5、针对上述难点问题，本专利技术基于多模型集成和渐进式预测的思想，提出面向遥感图像目标的检测识别方法。
技术实现思路
1、为解决
技术介绍
中存在的问题，本专利技术提供一种基于多模型集成和渐进式预测的遥感图像目标检测识别方法。
2、实现上述目的，本专利技术采取下述技术方案：一种基于多模型集成和渐进式预测的遥感图像目标检测识别方法，所述方法包括如下步骤：
3、s1：将数据集按照比例分成训练集和验证集，将训练集输入网络进行训练；通过训练增广策略对训练集进行在线增广，得到扩增后的输入数据；
4、s1所述在线增广包括如下步骤：
5、s1-1：使用mosaic增广策略对训练集进行在线增广：将用于训练的图片进行随机裁剪，将裁剪后的图片拼接到一张图上作为训练数据进行训练；
6、s1-2：使用copy-paste增广策略对训练集进行在线增广：随机复制目标到背景之中以生成增广图像；
7、s1-3：使用mixup增广策略对训练集进行在线增广：随机抽取两张图像后按照比例进行加和。
8、s2：将增广后的输入数据输入以swin-transformer blocks构成的主干特征提取网络中，获得不同层级的特征图，将不同层级的特征图输入到旋转框多阶段渐进式预测头构成的基础检测识别网络上，进行目标的定位和分类训练，得到训练后的模型a；
9、s2所述不同层级的特征图的获得包括如下步骤：
10、s2-1-1：将每张图像均通过批划分为多个不重叠的批，并对每个像素的通道数据做线性变换；
11、s2-1-2：对原始值特征施加线性变换层，将其投影到任意维度，而后在所有批上应用两个具有多头自注意力计算的swin transformer blocks；
12、s2-1-2所述swin transformer block包括一个基于常规窗口/偏移窗口的多头自注意力模块和其后的一个双层的多层感知模块器，在基于常规窗口/偏移窗口的多头自注意力模块和双层的多层感知模块器之前应用一个层归一化，在基于常规窗口/偏移窗口的多头自注意力模块和双层的多层感知模块器之后应用残差连接辅助训练；
13、在基于常规窗口的多头自注意力模块中，将m×m个批合并成为不重合的窗口的集合，而后将每个批展开成一维向量xp，作为transformer的输入，在不同的窗口内进行自注意力的计算；
14、在基于偏移窗口的多头自注意力模块中，则在前一层swin transformer block中基于常规窗口的多头自注意力模块划分窗口的基础上，将窗口位置进行移动，进行自注意力的计算，计算过程如下：
15、
16、式(1)中：
17、表示第l个swin transformer block的基于常规窗口/偏移窗口的多头自注意力模块的输出特征；
18、zl表示第l个swin transformer block的双层的多层感知模块器的输出特征；
19、w-msa表示使用常规窗口的多头自注意力模块的多头自注意力；
20、sw-msa表示使用偏移窗口的多头自注意力模块的多头自注意力；
21、mlp表示双层的多层感知模块器操作；
22、ln表示层归一化操作。
23、s2所述目标的定位和分类训练包括如下步骤：
24、s2-2-1：初始候选框生成；
25、s2-2-2：级联预测头的多阶段训练；
26、s2-2-3：逐级优化。
27、s2-1-3：通过批合并层减少批的数量，从而产生层次化的特征图表示；
28、s2-1-4：以s2-1-3得到的特征图作为输入，重复s2-1-3的操作两次，分别得到不同的特征图，从而获取不同层级的特征图表示。
29、s3：将增广后的输入数据输入以reresnet为主干特征提取网络中，得到高层次的特征图，将高层次的特征图输入到旋转框多阶段渐进式预测头构成的基础检测识别网络上，进行目标的定位和分类训练，得到训练后的模型b；
30、s3所述reresnet主干特征提取网络基于e2cnn的旋转等变网络对resnet主干网络中的所有层进行重新实现。
31、s4：使用模型a和模型b构建多模型集成预测框架，输出目标检测识别结果。
32、s4-1：对推理阶段输入模型a和模型b的验证集图像分别进行升采样和降采样，得到尺度放缩倍数为0.5、1.0以及1.5的多尺度输入图像；
33、s4-2：使用模型a和模型b分别对验证集进行推理，得到各自的推理结果；
34、s4-2-1：使用模型a对多尺度输入图像进行推理，分别得到尺度放缩倍数为0.5、1.0以及1.5的多尺度输入图像推理结果，并对推理结果反向采样还原为原尺寸推理结果，最终得到图像推理结果a-1、a-2以及a-3；
35、s4-2-2：使用模型b对多尺度输入图像进行本文档来自技高网...
【技术保护点】
1.一种基于多模型集成和渐进式预测的遥感图像目标检测识别方法，其特征在于：所述方法包括如下步骤：
2.根据权利要求1所述的一种基于多模型集成和渐进式预测的遥感图像目标检测识别方法，其特征在于：S1所述在线增广包括如下步骤：
3.根据权利要求1所述的一种基于多模型集成和渐进式预测的遥感图像目标检测识别方法，其特征在于：S2所述不同层级的特征图的获得包括如下步骤：
4.根据权利要求3所述的一种基于多模型集成和渐进式预测的遥感图像目标检测识别方法，其特征在于：S2-1-2所述Swin Transformer Block包括一个基于常规窗口/偏移窗口的多头自注意力模块和其后的一个双层的多层感知模块器，在基于常规窗口/偏移窗口的多头自注意力模块和双层的多层感知模块器之前应用一个层归一化，在基于常规窗口/偏移窗口的多头自注意力模块和双层的多层感知模块器之后应用残差连接辅助训练；
5.根据权利要求1所述的一种基于多模型集成和渐进式预测的遥感图像目标检测识别方法，其特征在于：S2所述目标的定位和分类训练包括如下步骤：
6.根据权利要求1
7.根据权利要求1所述的一种基于多模型集成和渐进式预测的遥感图像目标检测识别方法，其特征在于：所述S4包括如下步骤：
8.根据权利要求7所述的一种基于多模型集成和渐进式预测的遥感图像目标检测识别方法，其特征在于：所述S4-2包括如下步骤：
9.根据权利要求8所述的一种基于多模型集成和渐进式预测的遥感图像目标检测识别方法，其特征在于：所述S4-3包括如下步骤：
10.根据权利要求9所述的一种基于多模型集成和渐进式预测的遥感图像目标检测识别方法，其特征在于：S4-3-4所述融合框的置信度分数为组成该置信度的所有框的平均置信度，融合框的坐标是框坐标的加权和，其中权重为对应框的置信度分数，具体计算公式如下：
...【技术特征摘要】
1.一种基于多模型集成和渐进式预测的遥感图像目标检测识别方法，其特征在于：所述方法包括如下步骤：
2.根据权利要求1所述的一种基于多模型集成和渐进式预测的遥感图像目标检测识别方法，其特征在于：s1所述在线增广包括如下步骤：
3.根据权利要求1所述的一种基于多模型集成和渐进式预测的遥感图像目标检测识别方法，其特征在于：s2所述不同层级的特征图的获得包括如下步骤：
4.根据权利要求3所述的一种基于多模型集成和渐进式预测的遥感图像目标检测识别方法，其特征在于：s2-1-2所述swin transformer block包括一个基于常规窗口/偏移窗口的多头自注意力模块和其后的一个双层的多层感知模块器，在基于常规窗口/偏移窗口的多头自注意力模块和双层的多层感知模块器之前应用一个层归一化，在基于常规窗口/偏移窗口的多头自注意力模块和双层的多层感知模块器之后应用残差连接辅助训练；
5.根据权利要求1所述的一种基于多模型集成和渐进式预测的遥感图像目标检测识别方法，其特征在于：...
【专利技术属性】
技术研发人员：施天俊，巩晋南，王暄，鲍广震，张鹏飞，穆永琦，江世凯，胡建明，智喜洋，张伟，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。