【技术实现步骤摘要】
本专利技术涉及卫星遥感影像解译，特别是涉及一种基于全国产化软硬件条件下的卫星遥感影像旋转框目标识别方法。
技术介绍
1、卫星遥感影像解译是卫星遥感影像应用的核心与关键环节，快速精准的解译技术能够极大的提高遥感应用水平，在国土测绘、国防建设、安全救援等多方面领域减少人力成本，提升数据向信息的转化效率。目前，上述领域在调查、更新等方面，在工作方式中已经开始融入人工智能中目标识别的方式来辅助判读。人工智能与传统解译相结合，大大提高了卫星遥感影像的解译速度，成为卫星遥感影像解译中不可或缺的一环。
2、目前针对现阶段的遥感卫星影像人工智能解译的方法，其运行环境和开发框架主要依赖于国外资源。在运行环境上，硬件采用inter中央处理器和nvidia图形处理器；操作系统包含windows、ubuntu和centos；在神经网络运行计算上，采用nvidia的基于gpu的加速库cudnn。在开发框架下，算法的实现基本依赖于google的tensorflow框架和facebook的pytorch框架。现阶段遥感卫星影像智能解译领域的方法独立自主性弱，实际工作效率较低，在实际生产中无法独立在国产化条件下应用运行。这些问题和局限在本专利技术中得到了解决。
3、针对现有目标识别手段在卫星遥感影像领域未实现全面国产化的问题，本专利技术提出了以国产化芯片为基础平台，将国产化算法框架作为基础架构，以国产化卫星遥感数据为深度学习训练样本源的全国产化旋转框目标识别方法。本专利技术有效填补了遥感影像解译行业中基于国产化软硬件设备完成目标识别方法
技术实现思路
1、本专利技术目的是为了克服现有技术中的不足之处，提出了一种基于全国产化软硬件条件下的卫星遥感影像旋转框目标识别方法。所述方法集成为一种完全依赖于国产化环境的基于卫星遥感影像的人工智能解译系统。该系统能够在国产化环境中高效稳定的运行，其内嵌识别方法基于国产化框架研发，能够对输入系统的遥感卫星视频、影像完成智能化解译，无需依靠国外的产品，在国产化上达到完全的自主可控。
2、本专利技术是通过以下技术方案实现的，本专利技术提出一种基于全国产化软硬件条件下的卫星遥感影像旋转框目标识别方法，所述方法包括以下步骤：
3、步骤1：标注国产细粒度目标样本训练集；在数据源部分，以国产化星座“吉林一号”的遥感影像数据为原始影像源；在数据标注部分，遥感影像数据采用的分辨率均属于亚米级，标注的目标类别均精细于公开数据集，对于生产的遥感影像，根据深度学习训练样本构建规范，遵循最大最小原则标注目标数据集；
4、步骤2：模型训练；在模型结构上，采用主干、特征金字塔和对齐卷积检测头的结构；主干部分负责从原始图像上提取特征，通过卷积单元逐层处理，将提取出不同级别的特征；特征金字塔部分负责将主干部分提取的多层特征作融合处理，尽可能保留高层语义信息与低层定位信息的完整性，并把特征传递给检测头部分；对齐卷积检测头针对特征金字塔输入的各个尺度的特征，通过锚框的引导调整特征采样位置，减少卷积特征与实际对象任意方向间的错位情况，增强定位精度；
5、步骤3：遥感影像检测；检测过程中采用滑窗切割方式，在滑窗过程中设置重叠度，重叠度的设置根据数据集中目标的尺寸作自适应修正；滑窗重叠度以训练样本集中目标最长边尺寸的70％为上限，根据训练集中目标的不同，重叠度将根据下述公式自适应调整：
6、
7、在上述公式中，γ设为0.7，s设为1024，与训练样本集保持一致。
8、进一步地，训练过程中，首先输入一张标准尺寸的样本图片，标注尺寸为1024×1024×3；主干部分基于resnet-50，采用四层主干网络，对输入样本完成多个级别的特征提取，在主干部分后续层级的主要单元结构均为bottleneck；在第一层级处理中，该层包含64个7×7的conv单元和64个batchnorm单元，处理后输出图像的维度变为64，初始特征图的大小为512×512×64，在后续的层级处理中，会对初始特征图继续提取更高层级的特征；在第二层级的处理中，其包含3个bottleneck单元，各单元间串行顺序工作，其初始特征图经过特征提取后，大小为256×256×256；在第三层级的处理中，包含4个bottleneck单元，其输出特征图的尺寸为128×128×512；在第四层级的处理中，包含6个bottleneck单元，输出特征图的尺寸为64×64×1024；在最后一层级的处理中，包含3个bottleneck单元，输出特征图的尺寸为32×32×2048；随着提取特征层级的不断提高，获取到原始图像不同分辨率下的特征，其特征图尺寸分别为原图尺寸的
9、进一步地，在特征金字塔部分，一方面会融合主干部分的多层语义特征，另一方面会在融合特征基础上继续作卷积处理；模型在特征金字塔部分从第三层级处理的特征图开始特征融合，即特征融合的特征图尺寸从128×128×512到32×32×2048；由于特征图的尺寸大小存在区别，在特征融合的过程时，将对尺寸小的特征图完成上采样，对不同尺寸的特征匹配相同的维度。
10、进一步地，在检测头部分，针对检测实际定位性能，采用对齐卷积构成第一种分支——精度分支，将对特征金字塔部分输出的融合特征图完成对齐卷积操作；首先增加一个轻型网络，用于将水平锚框变化为高质量旋转锚预测矢量；然后，根据输出的高质量锚框预测矢量，将其解码为(x，y，w，h，θ)，与每个锚框的采样点中的偏移矢量输入到对齐卷积中，输出对齐特征；最后对齐特征通过检测输出模块输出检测的最终结果；针对对齐卷积检测结构在国产化运行环境上的运行瓶颈，在保持主干网络不变的前提上，提供了标准卷积检测头结构，构成第二种检测结构分支——时间分支。
11、进一步地，在预设锚框部分，其尺寸及比例将根据数据集中不同的目标以k-means聚类算法来自动计算获取到预设锚框的值；数据集中锚框聚类方法的具体执行过程如下：
12、(1)从数据集中计算全部样本的长、宽数据，在其中随机选择k个初始的聚类锚框中心；
13、(2)计算数据集中每个样本与聚类锚框中心的距离，将每个样本分配给距离最小的聚类锚框中心，计算距离公式如下：
14、
15、
16、
17、(3)计算聚类模块的新中心，更新聚类锚框中心数据为同类样本的平均值处；
18、(4)重复第二步的分配过程，直到聚类锚框中心不再发生变化。
19、进一步地，对于滑窗切割的结果输入模型后输出的处理结果，在转换为最终遥感解译信息需要完成三次坐标变换和一次非极大值抑制；第一次坐标变换是根据窗口在原始遥感影像中的位置，把模型输出的滑窗像素坐标信息转换为完整遥感影像的坐标信息，即把目标在滑窗的位置变换到在完整影像中的位置；xs和ys代表滑窗中任一点坐标，x和y代表转换后坐标，δx和δy代表滑窗距离完整影像左上角的偏移距离；
20、(x，本文档来自技高网...
【技术保护点】
1.一种基于全国产化软硬件条件下的卫星遥感影像旋转框目标识别方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，训练过程中，首先输入一张标准尺寸的样本图片，标注尺寸为1024×1024×3；主干部分基于ResNet-50，采用四层主干网络，对输入样本完成多个级别的特征提取，在主干部分后续层级的主要单元结构均为BottleNeck；在第一层级处理中，该层包含64个7×7的Conv单元和64个BatchNorm单元，处理后输出图像的维度变为64，初始特征图的大小为512×512×64，在后续的层级处理中，会对初始特征图继续提取更高层级的特征；在第二层级的处理中，其包含3个BottleNeck单元，各单元间串行顺序工作，其初始特征图经过特征提取后，大小为256×256×256；在第三层级的处理中，包含4个BottleNeck单元，其输出特征图的尺寸为128×128×512；在第四层级的处理中，包含6个BottleNeck单元，输出特征图的尺寸为64×64×1024；在最后一层级的处理中，包含3个BottleNeck单元，输出特征图的尺寸为32
3.根据权利要求2所述的方法，其特征在于，在特征金字塔部分，一方面会融合主干部分的多层语义特征，另一方面会在融合特征基础上继续作卷积处理；模型在特征金字塔部分从第三层级处理的特征图开始特征融合，即特征融合的特征图尺寸从128×128×512到32×32×2048；由于特征图的尺寸大小存在区别，在特征融合的过程时，将对尺寸小的特征图完成上采样，对不同尺寸的特征匹配相同的维度。
4.根据权利要求3所述的方法，其特征在于，在检测头部分，针对检测实际定位性能，采用对齐卷积构成第一种分支——精度分支，将对特征金字塔部分输出的融合特征图完成对齐卷积操作；首先增加一个轻型网络，用于将水平锚框变化为高质量旋转锚预测矢量；然后，根据输出的高质量锚框预测矢量，将其解码为(x，y，w，h，θ)，与每个锚框的采样点中的偏移矢量输入到对齐卷积中，输出对齐特征；最后对齐特征通过检测输出模块输出检测的最终结果；针对对齐卷积检测结构在国产化运行环境上的运行瓶颈，在保持主干网络不变的前提上，提供了标准卷积检测头结构，构成第二种检测结构分支——时间分支。
5.根据权利要求4所述的方法，其特征在于，在预设锚框部分，其尺寸及比例将根据数据集中不同的目标以K-means聚类算法来自动计算获取到预设锚框的值；数据集中锚框聚类方法的具体执行过程如下：
6.根据权利要求1所述的方法，其特征在于，对于滑窗切割的结果输入模型后输出的处理结果，在转换为最终遥感解译信息需要完成三次坐标变换和一次非极大值抑制；第一次坐标变换是根据窗口在原始遥感影像中的位置，把模型输出的滑窗像素坐标信息转换为完整遥感影像的坐标信息，即把目标在滑窗的位置变换到在完整影像中的位置；xs和ys代表滑窗中任一点坐标，x和y代表转换后坐标，Δx和Δy代表滑窗距离完整影像左上角的偏移距离；
7.根据权利要求6所述的方法，其特征在于，用A和B分别代表两个候选框，其交并比计算公式如下所示：
8.根据权利要求7所述的方法，其特征在于，在完成非极大值抑制处理后，将连续完成两次坐标变换，将把目标的像素坐标根据遥感影像的地理信息解译为具备实际应用价值的地理坐标，其具体转换过程为像素坐标先根仿射参数转化为投影坐标，再依据投影参数将投影坐标转化为地理坐标；具体的坐标转化步骤如下：
9.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-8任一项所述方法的步骤。
10.一种计算机可读存储介质，用于存储计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1-8任一项所述方法的步骤。
...【技术特征摘要】
1.一种基于全国产化软硬件条件下的卫星遥感影像旋转框目标识别方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，训练过程中，首先输入一张标准尺寸的样本图片，标注尺寸为1024×1024×3；主干部分基于resnet-50，采用四层主干网络，对输入样本完成多个级别的特征提取，在主干部分后续层级的主要单元结构均为bottleneck；在第一层级处理中，该层包含64个7×7的conv单元和64个batchnorm单元，处理后输出图像的维度变为64，初始特征图的大小为512×512×64，在后续的层级处理中，会对初始特征图继续提取更高层级的特征；在第二层级的处理中，其包含3个bottleneck单元，各单元间串行顺序工作，其初始特征图经过特征提取后，大小为256×256×256；在第三层级的处理中，包含4个bottleneck单元，其输出特征图的尺寸为128×128×512；在第四层级的处理中，包含6个bottleneck单元，输出特征图的尺寸为64×64×1024；在最后一层级的处理中，包含3个bottleneck单元，输出特征图的尺寸为32×32×2048；随着提取特征层级的不断提高，获取到原始图像不同分辨率下的特征，其特征图尺寸分别为原图尺寸的
3.根据权利要求2所述的方法，其特征在于，在特征金字塔部分，一方面会融合主干部分的多层语义特征，另一方面会在融合特征基础上继续作卷积处理；模型在特征金字塔部分从第三层级处理的特征图开始特征融合，即特征融合的特征图尺寸从128×128×512到32×32×2048；由于特征图的尺寸大小存在区别，在特征融合的过程时，将对尺寸小的特征图完成上采样，对不同尺寸的特征匹配相同的维度。
4.根据权利要求3所述的方法，其特征在于，在检测头部分，针对检测实际定位性能，采用对齐卷积构成第一种分支——精度分支，将对特征金字塔部分输出的融合特征图完成对齐卷积操作；首先增加一个轻型网络...
【专利技术属性】
技术研发人员：郭涛，张鹏，庞冉，王加乐，李相坤，
申请(专利权)人：长光卫星技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。