【技术实现步骤摘要】
本专利技术涉及基于改进faster r-cnn的飞机蒙皮缺陷检测的识别方法，属于航空机械。
技术介绍
1、飞机蒙皮作为和空气直接接触的主要部件，其表面会出现如裂纹、腐蚀和撞击等复杂混合的缺陷，很多小面积缺陷较难识别。
2、用传统的fasterr-cnn方法进行缺陷检测时，由于仅在最后一层的特征图上进行缺陷定位和识别，特征图上的信息因深度学习的加深会丢失很多信息，难以识别复杂的缺陷类型，尤其是小目标缺陷难以识别。
3、国内外学者利用改进的faster r-cnn方法对工业产品的表面进行了大规模的检测训练，效果显著，但很少应用于飞机蒙皮的检测。
4、在传统的faster r-cnn网络中，rpn网络通常在最后的高层特征图上进行检测，但卷积神经网络经过多次卷积和池化操作后，特征图的分辨率会不断降低，特征值会模糊化，较难提取，使得传统的fasterr-cnn方法对小目标缺陷的定位和识别较难。
5、其次，传统的faster r-cnn网络常常利用roipooling将不同大小的区域候选区域池化为尺寸一致的特征图，但每一次的量化操作会使区域特征产生错位，导致特征图上的候选区域产生一定的偏差，从而影响后续检测中的回归定位，这样的偏差对大目标缺陷的影响较小，对飞机蒙皮中的小目标缺陷的影响较大。
6、再者，传统的faster r-cnn网络中的rpn网络候选区域的设置基本是固定的，无法根据特征图中缺陷的大小自动调节，锚框形状和大小在训练过程中不会主动适应变化，必须手动调整锚框形状以提高准
技术实现思路
1、专利技术目的：针对现有技术中存在的不足，本专利技术提供了基于改进fasterr-cnn的飞机蒙皮缺陷检测的识别方法，本专利技术融合fpn网络结构(feature pyramidnetwork，特征金字塔网络)、roi align(region ofinterest align，利益区域对齐)和k-means聚类法(k-means clustering algorithm，k均值聚类法)对飞机蒙皮表面进行缺陷定位和检测，提升对复杂缺陷中的小目标缺陷的检测准确率。
2、技术方案：基于改进fasterr-cnn的飞机蒙皮缺陷检测的识别方法，包括以下步骤：
3、s1：获取飞机蒙皮缺陷图像，同时通过bottleneck搭建resnet-50网络，将飞机蒙皮缺陷图像输入至resnet-50网络，通过fpn网络结构提取不同尺寸的特征图并进行融合，获得多层次融合的特征图，并建立数据集；
4、s2：利用k-means聚类法进行不同蒙皮表面缺陷的anchor(锚点)定制，获取候选区域；
5、s3：将s1获得的多层次融合的特征图以及s2获得的候选区域输入到roi align(利益区域对齐)中，进行感兴趣校准，并发送至全连接层进行边框回归和分类，获得进行感兴趣区域校准后的特征图；
6、s4：对s3获得的进行感兴趣区域校准后的特征图进行训练；
7、s5：对s4训练完毕后的特征图进行蒙皮缺陷目标性能检测。
8、优选项，所述s1具体为：
9、多尺度特征提取：通过在不同的网络层提取特征，获得不同尺度的特征图；
10、特征融合：将提取到的特征图进行上采样和下采样操作，使得不同尺度的特征图在尺寸上匹配，然后进行融合；
11、自顶向下的路径：通过2倍最近邻上采样将高层特征图的尺寸增大，以匹配低层特征图的尺寸，通过横向连接将上采样后的高层特征与对应的低层特征进行逐元素相加，实现特征的融合。
12、优选项，所述s2包括：
13、s201：从s1建立的数据集中随机选取k个点作为初始聚类的中心，中心点为c＝{c1，c2，...，ck}；
14、s202：针对数据集中每个样本xi，计算每个样本到各个聚类中心点的距离，将距离最小的样本，划分到对应聚类中心的类别i中；
15、s203：针对每个类别i，重新计算该类别的聚类中心
16、
17、其中，|i|为该类别数据的总个数；
18、s204：重复s202和s203，直到聚类中心的位置不再发生变化后，得到候选区域。
19、优选项，所述s3具体为：
20、感兴趣区域校准方式：采用roi align将特征图中的候选区域划分为m×m个单元，获取尺寸可变的候选区域，将可变尺寸感兴趣区域取分别取中心点平均划分为4个子区域，在子区域中找出4个采样点的位置，并使用双线性插值法计算各个采样点位置的值，通过roi(尺寸可变候选区域)池化层生成新的特征图，输出固定维度感兴趣区域；
21、将roi池化后的特征向量送入两个全连接层，第一个全连接层用于缺陷类别分类，输出每个候选区域属于各个类别的概率；第二个全连接层用于边界框回归，以调整候选区域的位置以匹配物体的真实边界，以获得进行感兴趣区域校准后的特征图。
22、优选项，所述使用双线性插值法计算各个采样点位置的值具体为：
23、
24、其中(x,y)是待插值的坐标，而f(0,0)，f(0,1),f(1,0)，f(1,1)是已知的四个像素点的值，双线性插值法通过在x和y方向上进行线性插值来计算新像素值。
25、优选项，所述s4具体为：
26、选取实际生产中飞机蒙皮表面的n张图像形成图像数据集，共a个缺陷标注，指的是每张图片的缺陷类型和大小不相同，形状各异；选取b个缺陷标注为训练样本，剩余的a-b个缺陷标注为测试样本；
27、对缺陷图像的类别和具体位置进行标注，三种缺陷分别标记为crack(裂纹)、corrosion(腐蚀)和impact(撞击)存储在处理器中；
28、进行预训练，设初始学习率为0.006，batch-sizes值为8，在蒙皮表面的缺陷数据集中训练60个epoch(步长)，进行可视化训练，获得训练过程中的损失变化。
29、优选项，所述s5具体为：
30、采用平均精度均值map、召回率r和准确率p来综合判断蒙皮缺陷目标的检测性能：
31、
32、其中：tp为检测目标中为真的数量；fp为非检测目标中为真的数；，fn为检测目标中为假的数量。
33、有益效果：本专利技术通过融合fpn网络结构(feature pyramidnetwork，特征金字塔网络)、roi align(region ofinterest align，利益区域对齐)和k-means聚类法(k-meansclustering algorithm，k均值聚类法)对飞机蒙皮表面进行缺陷定位和检测，能够更准确地检测到蒙皮表面的细小缺陷，提升对复杂缺陷中的小目标缺陷的检测准确率。
本文档来自技高网...【技术保护点】
1.基于改进FasterR-CNN的飞机蒙皮缺陷检测的识别方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的基于改进FasterR-CNN的飞机蒙皮缺陷检测的识别方法，其特征在于：
3.根据权利要求1所述的基于改进FasterR-CNN的飞机蒙皮缺陷检测的识别方法，其特征在于：所述S2包括：
4.根据权利要求1所述的基于改进Faster R-CNN的飞机蒙皮缺陷检测的识别方法，其特征在于：所述S3具体为：
5.根据权利要求1所述的基于改进Faster R-CNN的飞机蒙皮缺陷检测的识别方法，其特征在于：所述使用双线性插值法计算各个采样点位置的值具体为：
6.根据权利要求1所述的基于改进Faster R-CNN的飞机蒙皮缺陷检测的识别方法，其特征在于：所述S4具体为：
7.根据权利要求1所述的基于改进Faster R-CNN的飞机蒙皮缺陷检测的识别方法，其特征在于：所述S5具体为：
【技术特征摘要】
1.基于改进fasterr-cnn的飞机蒙皮缺陷检测的识别方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的基于改进fasterr-cnn的飞机蒙皮缺陷检测的识别方法，其特征在于：
3.根据权利要求1所述的基于改进fasterr-cnn的飞机蒙皮缺陷检测的识别方法，其特征在于：所述s2包括：
4.根据权利要求1所述的基于改进faster r-cnn的飞机蒙皮缺陷检测的识别方法，其特征在于：...
【专利技术属性】
技术研发人员：潘甜，张迎春，谢中敏，刘启明，仪杰，
申请(专利权)人：江苏航空职业技术学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。