一种风力发电机叶片表面损伤轻量化识别方法技术

本公开提供一种风力发电机叶片表面损伤轻量化识别方法，包括：建立叶片损伤数据库用作检测模型的训练集图像和验证集图像；对所述叶片损伤数据库进行数据增强操作，以获得数据增强后的训练集图像；搭建轻量化的目标检测模型，所述目标检测模型采用MobileNet算法作为特征提取算法，以及采用YOLO‑V3算法作为单阶段目标检测算法；利用所述数据增强后的训练集图像，对所述目标检测模型进行训练，并利用所述验证集图像进行模型检测缺陷的精度测试，保存测试表现最好的模型参数，以得到训练好的目标检测模型；将所述训练好的目标检测模型导出部署在便携式计算设备中，并到风电场进行实时的叶片表面损伤检测。可以极大提高叶片表面损伤检测的实时性和快速性。

【技术实现步骤摘要】
一种风力发电机叶片表面损伤轻量化识别方法
本公开属于叶片表面损伤识别
，具体涉及一种风力发电机叶片表面损伤轻量化识别方法。
技术介绍
基于深度学习的检测技术利用时下流行的人工智能算法(例如FasterR-CNN、MaskR-CNN)和大数据分析来定位和分类缺陷或损伤。主要步骤为：a)使用摄像无人机采集大量的叶片照片，其中要包含正样本和负样本；b)利用标记软件对叶片照片中的损伤进行人工标记，组建叶片损伤数据库；c)使用基于卷积神经网络的目标检测算法搭建检测模型，并借助数据库进行训练至满意的精度；d)使用此模型来对现场叶片照片中的损伤或缺陷进行定位和分类。上述检测方法的缺陷在于深度学习模型需要大量的计算量难以部署在便携式设备中。巡检人员无法在现场得知识别结果，需要将照片带回总部利用服务器进行识别工作。目前正在研究的无人机智能巡检领域采用云计算的模式来做到实时现场识别，但需要丰富的移动带宽资源才能实现叶片数据在现场和云平台之间的快速传输。但是风电机组通常位于偏僻地区，基站分布量较少，带宽资源并不丰富，因此依赖于云计算的在线实时检测可能在此情景中是不实际的。
技术实现思路
本公开旨在至少解决现有技术中存在的技术问题之一，提供一种风力发电机叶片表面损伤轻量化识别方法。本公开的一个方面，提供一种风力发电机叶片表面损伤轻量化识别方法，所述方法包括：建立叶片损伤数据库用作检测模型的训练集图像和验证集图像；对所述叶片损伤数据库进行数据增强操作，以获得数据增强后的训练集图像；搭建轻量化的目标检测模型，所述目标检测模型采用MobileNet算法作为特征提取算法，以及采用YOLO-V3算法作为单阶段目标检测算法；利用所述数据增强后的训练集图像，对所述目标检测模型进行训练，并利用所述验证集图像进行模型检测缺陷的精度测试，保存测试表现最好的模型参数，以得到训练好的目标检测模型；将所述训练好的目标检测模型导出部署在便携式计算设备中，并到风电场进行实时的叶片表面损伤检测。在一些可选地实施方式中，所述建立叶片损伤数据库用作检测模型的训练集图像和验证集图像，包括：利用携带有高清摄像头的无人机到风电场采集大量的叶片图像；分别对采集到的各所述叶片图像进行损伤标注，获得损伤标注信息，并按照YOLO的格式对所述叶片图像、所述损伤标注信息以及叶片图像列表文档进行整理；其中，所述损伤标注信息包括标注格式和标注内容，所述标注格式采用PASCALVOC数据集或者COCO数据集的格式，所述标注内容包括缺陷的类别以及缺陷出现的位置和面积；将所述损伤标注信息与所述叶片图像一一对应，获得所述训练集图像和所述验证集图像。在一些可选地实施方式中，所述数据增强操作包括下述至少一项：随机改变图像的亮暗、对比度和颜色、随机填充、随机裁剪、随机缩放、随机翻转、随机打乱真实框排列顺序。在一些可选地实施方式中，所述对所述叶片损伤数据库进行数据增强操作，包括：从图像文件或内存buffer中加载图像，转换为RGB格式；将原始图片放入用像素均值填充的扩张图中，对此图进行裁剪、缩放和翻转；使用随机的插值方式调整图像大小；根据特定的插值方式调整图像大小；对图像像素值进行归一化，先将像素值除以255.0，像素值缩放到到[0-1]区间；如果boundingbox的数量少于50，则将零填充到所述boundingbox；将所述boundingbox从(xmin,ymin,xmax,ymin)形式转换为(xmin,ymin,width,height)格式。在一些可选地实施方式中，所述利用所述数据增强后的训练集图像，对所述目标检测模型进行训练，并利用所述验证集图像进行模型检测缺陷的精度测试，保存测试表现最好的模型参数，以得到训练好的目标检测模型，包括：生成锚框：将所述数据增强后的训练集图像划分成m×n个小方块区域，在每个区域的中心生成k个尺寸不一的锚框，m、n和k均为大于等于1的正整数；预测框生成的方法：在所述锚框的中心坐标(center_x,center_y)和尺寸上(p_h×p_w)的基础上微调生成预测框的中心坐标(b_x,b_y)和尺寸(b_h×b_w)；每个所述锚框都是一个可能的候选区域，对所述候选区域进行标注，标注信息包括(t_x,t_y,t_h,t_w，P_obj,P_1,P_2,P_3,…,P_C)的真实值；使用MobileNet骨干网络提取图像特征，得到输出特征图；根据所述输出特征图计算预测框位置和类别；建立三种交叉熵损失函数来计算模型预测值和实际值之间的loss值，分别是表征是否包含目标物体的损失函数、表征物体位置的损失函数、表征物体类别的损失函数；执行反向传播算法计算模型参数梯度，沿着梯度下降的方向更新参数来极小化总体损失函数；模型每迭代N步保存一次模型参数，并进行一次验证集的loss值计算，将loss值最小的迭代轮次的模型参数作为获得训练过程中最好的模型文件，得到所述训练好的目标检测模型。在一些可选地实施方式中，所述对所述候选区域进行标注，包括：计算每个小方块区域生成的k个锚框与真实框的交并比IoU，IoU最大的锚框生成的预测框设置为objectness标签为正；设置IoU阈值iou_threshold，当预测框的objectness不为1，但其与某个真实框的IoU大于所述iou_threshold时，将其objectness标签设置为-1，不参与损失函数的计算；所有其他的预测框，其objectness标签均设置为0，表示负类；对于objectness＝1的预测框，让真实框和预测框重合，反求t_x,t_y,t_h,t_w，并且其损伤类别与真实框的类别一致，用one-hot向量(P_1,P_2,P_3,…,P_C)表示预测框内物体属于每类损伤的概率值；对于objectness＝0或者-1的预测框，则不用管他们的位置和类别。在一些可选地实施方式中，所述根据所述输出特征图计算预测框位置和类别，包括：建立所述输出特征图与所述预测框之间的关联，所述输出特征图上每个像素点分别跟原图上一个小方块区域对应，实现空间位置的对应关系；对所述输出特征图进行多次卷积，并将最终的输出通道数设置为[k(5+C)]×m×n，分别对应m×n个小方块区域生成的k个预测框的(t_x,t_y,t_h,t_w，P_obj,P_1,P_2,P_3,…,P_C)实数预测值。在一些可选地实施方式中，所述将所述训练好的目标检测模型导出部署在便携式计算设备中，并到风电场进行实时的叶片表面损伤检测，包括：采集所述风电场的实际叶片视频，选取视频关键帧图像输入到所述便携式计算设备上所搭载的所述训练好的目标检测模型中；对于每张所述关键帧图像，所述训练好的目标检测模型执行前向传播算法得出预测框损伤类别和本文档来自技高网...

【技术保护点】
1.一种风力发电机叶片表面损伤轻量化识别方法，其特征在于，所述方法包括：/n建立叶片损伤数据库用作检测模型的训练集图像和验证集图像；/n对所述叶片损伤数据库进行数据增强操作，以获得数据增强后的训练集图像；/n搭建轻量化的目标检测模型，所述目标检测模型采用MobileNet算法作为特征提取算法，以及采用YOLO-V3算法作为单阶段目标检测算法；/n利用所述数据增强后的训练集图像，对所述目标检测模型进行训练，并利用所述验证集图像进行模型检测缺陷的精度测试，保存测试表现最好的模型参数，以得到训练好的目标检测模型；/n将所述训练好的目标检测模型导出部署在便携式计算设备中，并到风电场进行实时的叶片表面损伤检测。/n

【技术特征摘要】
1.一种风力发电机叶片表面损伤轻量化识别方法，其特征在于，所述方法包括：
建立叶片损伤数据库用作检测模型的训练集图像和验证集图像；
对所述叶片损伤数据库进行数据增强操作，以获得数据增强后的训练集图像；
搭建轻量化的目标检测模型，所述目标检测模型采用MobileNet算法作为特征提取算法，以及采用YOLO-V3算法作为单阶段目标检测算法；
利用所述数据增强后的训练集图像，对所述目标检测模型进行训练，并利用所述验证集图像进行模型检测缺陷的精度测试，保存测试表现最好的模型参数，以得到训练好的目标检测模型；
将所述训练好的目标检测模型导出部署在便携式计算设备中，并到风电场进行实时的叶片表面损伤检测。


2.根据权利要求1所述的方法，其特征在于，所述建立叶片损伤数据库用作检测模型的训练集图像和验证集图像，包括：
利用携带有高清摄像头的无人机到风电场采集大量的叶片图像；
分别对采集到的各所述叶片图像进行损伤标注，获得损伤标注信息，并按照YOLO的格式对所述叶片图像、所述损伤标注信息以及叶片图像列表文档进行整理；其中，所述损伤标注信息包括标注格式和标注内容，所述标注格式采用PASCALVOC数据集或者COCO数据集的格式；所述标注内容包括缺陷的类别以及缺陷出现的位置和面积；
将所述损伤标注信息与所述叶片图像一一对应，获得所述训练集图像和所述验证集图像。


3.根据权利要求1所述的方法，其特征在于，所述数据增强操作包括下述至少一项：
随机改变图像的亮暗、对比度和颜色、随机填充、随机裁剪、随机缩放、随机翻转、随机打乱真实框排列顺序。


4.根据权利要求1所述的方法，其特征在于，所述对所述叶片损伤数据库进行数据增强操作，包括：
从图像文件或内存buffer中加载图像，转换为RGB格式；
将原始图片放入用像素均值填充的扩张图中，对此图进行裁剪、缩放和翻转；
使用随机的插值方式调整图像大小；
根据特定的插值方式调整图像大小；
对图像像素值进行归一化，先将像素值除以255.0，像素值缩放到到[0-1]区间；
如果boundingbox的数量少于50，则将零填充到所述boundingbox；
将所述boundingbox从(xmin,ymin,xmax,ymin)形式转换为(xmin,ymin,width,height)格式。


5.根据权利要求1至4任一项所述的方法，其特征在于，所述利用所述数据增强后的训练集图像，对所述目标检测模型进行训练，并利用所述验证集图像进行模型检测缺陷的精度测试，保存测试表现最好的模型参数，以得到训练好的目标检测模型，包括：
生成锚框：将所述数据增强后的训练集图像划分成m×n个小方块区域，在每个区域的中心生成k个尺寸不一的锚框，m、n和k均为大于等于1的正整数；
预测框生成的方法：在所述锚框的中心坐标(center_x,center_y)和尺寸上(p_h×p_w)的基础上微调生成预测框的中心坐标(b_x,b_y)和尺寸(b_h×b_w)；
每个所述锚框都是一个可能的候选区域，对所述候选区域进行标注，标注信息包括(t_x,t_y,t_h,t_w，P_obj,P_1,P_2,P_3,…,P_C)...

【专利技术属性】
技术研发人员：赵霞，田宏哲，赵霄桁，曾凡春，余瑞锋，
申请(专利权)人：北京华能新锐控制技术有限公司，
类型：发明
国别省市：北京;11