面向大尺寸遥感影像的物体检测识别方法技术

本发明专利技术提供一种面向大尺寸遥感影像的物体检测识别方法与装置，所述识别方法包括：进行网络训练：构建样本总数不低于100的样本集，并对样本集进行影像预处理、影像切割与样本增广；网络设计：网络通过定制化的卷积结构对输入图像层层提取信息，并对最后关键特征层进行卷积或反卷积，使各卷积层尺寸统一；设计特征图在网格内设置多个锚点；对于每个锚点，设置k个不同大小的锚框；并设计损失函数。本发明专利技术所述技术方案应用于遥感影像的物体检测识别，具有检测性能优异、运算效率高等优点，具有较高的推广应用价值；所述检测识别网络兼容倾斜框物体的检测识别方法，解决了倾斜物体的检测问题；所述检测识别网络可推广应用于自然图像。所述检测识别网络可推广应用于自然图像。所述检测识别网络可推广应用于自然图像。

【技术实现步骤摘要】
面向大尺寸遥感影像的物体检测识别方法


[0001]本专利技术涉及遥感影像的智能处理
，特别是一种大尺寸遥感影像的物体检测识别方法。

技术介绍

[0002]随着商业航天的发展和技术的不断进步，遥感影像的获取越来越容易，成本越来越低，数据量越来越大，在国土资源勘查、环境检测与保护、城市规划、农作物估产、防灾减灾和空间科学试验等领域发挥越来越广泛的作用。近年来，尤其是2012年以来，人工智能和深度学习在大数据和高算力设备的基础上取得突飞猛进的发展。目前，人工智能技术在遥感图像领域的应用越来越深入，越来越广泛，典型的有物体检测识别、农田区域分割、建筑三维建模、薄云雾去除、超分辨处理等。
[0003]目前，相比于对自然图像，大尺寸遥感影像物体检测识别方法的研究相对较少。现有技术存在以下问题：1)大部分现有技术基于公开训练集进行算法训练，对遥感影像数据集生成方法的讨论欠缺，没有给出包括训练集生成在内的遥感影像物体检测识别全流程方法；2)对倾斜物体(非正框标注)的检测识别的技术较少；3)相比于one
‑
step检测识别网络，基于two
‑
step的神经网络推理效率相对较低。

技术实现思路

[0004]本专利技术的目的在于提供
[0005]面向大尺寸遥感影像的物体检测识别方法与装置，如图1所示，其示出大尺寸遥感影像物体检测识别方法的全部流程；本实施例所述物体检测识别方法共包括两部分，即网络训练和网络推理，具体地，包括：
[0006]步骤S1.进行网络训练，为网络提供性能优良、运算高效的神经网络；具体地包括：
[0007]步骤S11.样本集构建：建立在足够数量、精细标注的遥感影像数据的基础上，一般要求同一种类的样本总数不低于100。根据包含的同一种类物体的总样本数、物体识别和获取难易程度难度等因素综合确定遥感影像的数据；样本集的构建主要包含三步：影像预处理、影像切割与样本增广、样本集构建。
[0008]步骤S111.影像预处理，是指对原始遥感影像进行一定程度的操作，进行亮度和对比度的自适应调节等。
[0009]不是所有的影像度需要预处理操作；预处理直接影响影像风格的统一程度，影响网络训练的难易程度。
[0010]步骤S112.影像切割与样本增广，将大尺寸影像切割成符合使用要求大小的切片，在裁剪的过程中，保留一定的重叠区域，防止对尺寸较大物体的遗漏。
[0011]切片的尺寸根据影像的分辨率、物体尺寸和计算设备性能等因素综合确定，单个切片可以容纳尺寸最大的样本。
[0012]优选地，在影像切割和样本增广的过程中，标注信息要做相应修改。
[0013]在切片样本生成后，便可进行样本集构建。一般按照6:4或者7:3的比例，分成训练集和验证集。
[0014]样本集构建时应保留一定比例的含目标切片和纯背景切片，以降低网络检测的虚警率。
[0015]优选地，构建多个包含不同目标/纯背景比例的样本集，以备在网络训练中使用。
[0016]步骤S12网络设计，其具体包括：
[0017]步骤S121设计网络结构
[0018]步骤S1211.网络通过定制化的卷积结构对输入图像层层提取信息，并对最后关键特征层进行卷积(convolution)或反卷积(De
‑
convolution)操作，使各卷积层尺寸统一；
[0019]步骤S1212.将统一尺寸后的各卷积层级联起来形成综合特征层；
[0020]步骤S1213.利用定制化卷积结构将综合特征层的通道数降至B
×
(4+C)(正框)或B
×
(5+C)(倾斜框)；其中，B表示特征层每个网格(Grid Cell)中预测框的个数，C表示包含背景在内的类别数，其等于目标类别总数+1，网络输出的三维矩阵包含目标信息，网络训练和学习该三维矩阵；
[0021]所述网络结构通过综合网络实现对多尺度的适应性，提升检测性能。
[0022]步骤S122设计特征图
[0023]即特征图的一个像素对应原始输入图像的G
×
G大小的区域；在网格内设置多个锚点(anchor point)，各锚点均匀分布在网格(grid cell)内。
[0024]优选地，设置多个锚点有助于提高目标检测精度，减少定位误差。
[0025]对于每个锚点，设置ankor_box(简记为k)个不同大小的锚框。锚框的个数k可根据待检测目标尺寸选取。
[0026]锚框尺寸(即宽和高)通过对目标尺寸聚类或者经验信息获得。
[0027]合适的锚框可以加快网络训练速度，锚框大小越接近真实目标大小，网络越容易训练。
[0028]锚框的作用是为目标框提供参照，目标框的真实位置可以用目标框与锚框的偏移程度来表征，将网络预测的目标框称为预测框；
[0029]步骤S123设计损失函数
[0030]将预测框分为三类：
[0031]1)与真实目标(Ground Truth)的交并比(IoU)大于0.5的预测框视作目标框，记网络检测的目标框总数为N；
[0032]2)与真实目标的交并比(IoU)小于0.4的预测框视作背景框(即无目标)，记背景框总数为M；
[0033]3)与真实目标的交并比(IoU)介于0.4与0.5之间的预测框不参与损失函数计算；
[0034]将背景框大小计入损失函数，目的是尽可能压缩背景框的大小，即使类别判断错误仍可以因尺寸过小在检测结果中滤除，从而降低虚警率。
[0035]步骤S13进行网络训练
[0036]在样本集构建和网络设计完成后，便可进行网络训练。
[0037]网络训练过程中，求解器可采用sgdm法或Adam方法。
[0038]训练迭代次数根据训练集大小而定，将训练集完整迭代1遍视为1个epoch(epoch
指使用训练集的全部数据对模型进行一次完整训练，被称之“一代训练”)，一个较为鲁棒的选择为30epochs。
[0039]此外，在不同的样本集上进行多次训练：首先在目标切片占比高的样本集上进行初次训练，然后在目标切片占比低的样本集上进行增量训练，有助于降低网络检测结果的虚警率。
[0040]优选地，在不同的样本集上进行至少两次训练。
[0041]步骤S2.进行网络推理。
[0042]其直接以大尺寸遥感影像为输入，以整幅影像的检测结果为输出，包含影像预处理、影像切割、利用网络检测识别、检测结果后处理、图像拼接与结果输出等部分。
[0043]遥感影像检测识别能力主要取决于检测识别网络性能的优劣。
[0044]本专利技术的创新点主要体现在网络设计部分：具体包括：
[0045]步骤S21.影像预处理
[0046]影像预处理是指对原始遥感影像进行一定程度的操作，以方便后续步骤的进行。
[0047]对于16bit的TIFF图，需要转换为8b本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.面向大尺寸遥感影像的物体检测识别方法，其特征在于，包括：步骤S1.进行网络训练，其包括：步骤S11.构建样本集，并对样本集进行影像预处理、影像切割与样本增广；步骤S12设计网络，其包括：步骤S121设计网络结构网络通过定制化的卷积结构对输入图像层层提取信息，并对最后关键特征层进行卷积或反卷积，使各卷积层尺寸统一；将统一尺寸后的各卷积层级联起来形成综合特征层；进而形成网络输出的三维矩阵，网络训练和学习该三维矩阵；步骤S122设计特征图在网格内设置多个锚点，各锚点均匀分布在网格内；对于每个锚点，设置k个不同大小的锚框；步骤S123设计损失函数；步骤S13网络训练：根据训练集大小确定训练迭代次数；在不同的样本集上进行至少两次训练；步骤S2.进行网络推理。2.如权利要求1所述的面向大尺寸遥感影像的物体检测识别方法，其特征在于，进行网络训练时，训练迭代次数根据训练集大小确定，将训练集完整迭代1遍视为1个“一代训练”；在不同的样本集上进行多次训练：首先在目标切片占比高的样本集上进行初次训练，然后在目标切片占比低的样本集上进行增量训练。3.如权利要求1或2所述的面向大尺寸遥感影像的物体检测识别方法，其特征在于，设计损失函数时将预测框分为三类，即：第一类，与真实目标的交并比大于0.5的预测框视作目标框，记网...

【专利技术属性】
技术研发人员：岳文振，尹璐，傅雨泽，李阳，孟钢，李晓斌，田菁，
申请(专利权)人：北京市遥感信息研究所，
类型：发明
国别省市：