基于两阶段多尺度特征学习的飞机关键点检测方法技术

本发明专利技术公开了一种基于两阶段多尺度特征学习的飞机关键点检测方法，该方法包括：获取包含飞机的待测遥感图像；将待测遥感图像输入预先训练的目标检测模型，得到待测遥感图像中的飞机的预测框，目标检测模型采用多尺寸的特征表示方式；按照预设比例对飞机的预测框进行放大，并根据放大后的预测框裁剪待测遥感图像，得到飞机图像；将飞机图像输入预先训练的关键点检测模型，得到飞机图像中的飞机关键点位置，关键点检测模型采用多尺度的特征表示方式。本发明专利技术的方法能够减缓遥感图像中目标飞机尺寸小导致的前景和背景像素不平衡的问题和不同飞机的尺寸差异较大导致的特征表示困难的问题，实现飞机及其关键点的精确检测。实现飞机及其关键点的精确检测。实现飞机及其关键点的精确检测。

【技术实现步骤摘要】
基于两阶段多尺度特征学习的飞机关键点检测方法


[0001]本专利技术涉及图像处理
，具体涉及一种基于两阶段多尺度特征学习的飞机关键点检测方法。

技术介绍

[0002]目标检测是遥感图像处理和计算机视觉领域的重要研究方向。随着星上相机性能和星群技术的发展，遥感图像数据逐步累计，基于大数据和深度学习的遥感图像智能解译成为遥感图像分析的新方式。目前被用于遥感图像目标检测的卷积神经网络仅输出目标的位置和尺寸信息，难以对目标关键点等精细化结构信息进行有效提取。
[0003]然而，目标关键点等结构信息在军事、民用和商业领域能够发挥重要的作用。以飞机为例，提取机头、机翼和机尾在内的关键点，对敌机动态情报分析、失事飞机搜寻、机场流量监测、航班调度等任务具有重要意义。但是，由于目标在图像中的占比较小，以及目标尺寸差异较大等原因，目标内的精细化结构信息提取极为困难。

技术实现思路

[0004]为解决上述现有技术中存在的部分或全部技术问题，本专利技术提供一种基于两阶段多尺度特征学习的飞机关键点检测方法。
[0005]本专利技术的技术方案如下：
[0006]提供了一种基于两阶段多尺度特征学习的飞机关键点检测方法，所述方法包括：
[0007]获取包含飞机的待测遥感图像；
[0008]将所述待测遥感图像输入预先训练的目标检测模型，得到所述待测遥感图像中的飞机的预测框，其中，所述目标检测模型采用多尺寸的特征表示方式；
[0009]按照预设比例对所述飞机的预测框进行放大，并根据放大后的预测框裁剪所述待测遥感图像，得到飞机图像；
[0010]将所述飞机图像输入预先训练的关键点检测模型，得到所述飞机图像中的飞机关键点位置，其中，所述关键点检测模型采用多尺度的特征表示方式。
[0011]在一些可能的实现方式中，所述目标检测模型采用特征金字塔残差网络，所述特征金字塔残差网络包括相互连接的残差网络和特征金字塔网络。
[0012]在一些可能的实现方式中，所述目标检测模型通过如下方式训练：
[0013]获取第一阶段训练样本集合，第一阶段训练样本包括包含飞机的初始样本图像、以及与初始样本图像对应的飞机的标注框；
[0014]将所述第一阶段训练样本的初始样本图像作为输入，将与初始样本图像对应的飞机的标注框作为输出，训练目标检测模型。
[0015]在一些可能的实现方式中，将所述第一阶段训练样本的初始样本图像作为输入，将与初始样本图像对应的飞机的标注框作为输出，训练目标检测模型，包括：
[0016]步骤21，将所有第一阶段训练样本的初始样本图像按批次输入目标检测模型，得
到目标检测模型输出的飞机的预测框；
[0017]步骤22，根据第一阶段训练样本的飞机的标注框和与标注框对应的预测框，计算预设目标检测损失函数；
[0018]步骤23，判断是否达到预设训练停止条件，若是，则将当前的目标检测模型作为完成训练的目标检测模型，若否，则利用预设目标检测损失函数更新目标检测模型的参数，并返回步骤21。
[0019]在一些可能的实现方式中，所述关键点检测模型采用高分辨率网络。
[0020]在一些可能的实现方式中，所述关键点检测模型通过如下方式训练：
[0021]按照预设比例对所述初始样本图像中的飞机的标注框进行放大，并按照放大后的标注框裁剪所述初始样本图像，得到飞机样本图像；
[0022]根据多个飞机样本图像，获取第二阶段训练样本集合，第二阶段训练样本包括飞机样本图像、以及与飞机样本图像对应的飞机关键点标注位置；
[0023]将所述第二阶段训练样本的飞机样本图像作为输入，将与飞机样本图像对应的飞机关键点标注位置作为输出，训练关键点检测模型。
[0024]在一些可能的实现方式中，将所述第二阶段训练样本的飞机样本图像作为输入，将与飞机样本图像对应的飞机关键点标注位置作为输出，训练关键点检测模型，包括：
[0025]步骤41，将所有第二阶段训练样本的飞机样本图像按批次输入关键点检测模型，得到关键点检测模型输出的飞机关键点预测位置；
[0026]步骤42，根据第二阶段训练样本的飞机关键点标注位置和与飞机关键点标注位置对应的飞机关键点预测位置，计算预设关键点检测损失函数；
[0027]步骤43，判断是否达到预设训练停止条件，若是，则将当前的关键点检测模型作为完成训练的关键点检测模型，若否，则利用预设关键点检测损失函数更新关键点检测模型的参数，并返回步骤41。
[0028]在一些可能的实现方式中，对裁剪得到的每个飞机样本图像进行数据扩增处理，获取对应的多个飞机样本图像，根据裁剪及数据扩增处理得到的所有飞机样本图像，获取第二阶段训练样本集合。
[0029]在一些可能的实现方式中，所述飞机关键点包括飞机的机头、右翼、机尾和左翼。
[0030]在一些可能的实现方式中，所述方法还包括：
[0031]根据得到的飞机关键点位置，确定飞机朝向。
[0032]本专利技术技术方案的主要优点如下：
[0033]本专利技术的基于两阶段多尺度特征学习的飞机关键点检测方法先检测飞机的位置和尺寸，并形成飞机的预测框，再根据预测框进行图像裁剪，基于裁剪图像对预测框中的飞机的关键点进行检测，能够缓解目标飞机在遥感图像中占比小导致的问题，实现飞机及其关键点的精确检测；同时，在两个检测模型中均采用多尺度的特征表示方式，能够减缓因遥感图像中不同目标飞机的尺寸差异较大导致的问题，进一步提高检测精度。
附图说明
[0034]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0035]图1为本专利技术一实施例的基于两阶段多尺度特征学习的飞机关键点检测方法的流程图；
[0036]图2为本专利技术一实施例的特征金字塔残差网络的结构示意图；
[0037]图3为本专利技术一实施例的高分辨率网络的结构示意图。
具体实施方式
[0038]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术具体实施例及相应的附图对本专利技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0039]以下结合附图，详细说明本专利技术实施例提供的技术方案。
[0040]参考图1，本专利技术一实施例提供了一种基于两阶段多尺度特征学习的飞机关键点检测方法，该方法包括以下步骤S1
‑
S4：
[0041]步骤S1，获取包含飞机的待测遥感图像；
[0042]本专利技术一实施例中，待测遥感图像根据实际需求进行获取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于两阶段多尺度特征学习的飞机关键点检测方法，其特征在于，包括：获取包含飞机的待测遥感图像；将所述待测遥感图像输入预先训练的目标检测模型，得到所述待测遥感图像中的飞机的预测框，其中，所述目标检测模型采用多尺寸的特征表示方式；按照预设比例对所述飞机的预测框进行放大，并根据放大后的预测框裁剪所述待测遥感图像，得到飞机图像；将所述飞机图像输入预先训练的关键点检测模型，得到所述飞机图像中的飞机关键点位置，其中，所述关键点检测模型采用多尺度的特征表示方式。2.根据权利要求1所述的基于两阶段多尺度特征学习的飞机关键点检测方法，其特征在于，所述目标检测模型采用特征金字塔残差网络，所述特征金字塔残差网络包括相互连接的残差网络和特征金字塔网络。3.根据权利要求1或2所述的基于两阶段多尺度特征学习的飞机关键点检测方法，其特征在于，所述目标检测模型通过如下方式训练：获取第一阶段训练样本集合，第一阶段训练样本包括包含飞机的初始样本图像、以及与初始样本图像对应的飞机的标注框；将所述第一阶段训练样本的初始样本图像作为输入，将与初始样本图像对应的飞机的标注框作为输出，训练目标检测模型。4.根据权利要求3所述的基于两阶段多尺度特征学习的飞机关键点检测方法，其特征在于，将所述第一阶段训练样本的初始样本图像作为输入，将与初始样本图像对应的飞机的标注框作为输出，训练目标检测模型，包括：步骤21，将所有第一阶段训练样本的初始样本图像按批次输入目标检测模型，得到目标检测模型输出的飞机的预测框；步骤22，根据第一阶段训练样本的飞机的标注框和与标注框对应的预测框，计算预设目标检测损失函数；步骤23，判断是否达到预设训练停止条件，若是，则将当前的目标检测模型作为完成训练的目标检测模型，若否，则利用预设目标检测损失函数更新目标检测模型的参数，并返回步骤21。5.根据权利要求4所述的基于两阶段多尺度特征学习的飞机关键点检测方法，其特征在于，所述关键点检测模型采...

【专利技术属性】
技术研发人员：王鑫慧，郭鹏宇，曹璐，刘勇，孟玲，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：