【技术实现步骤摘要】
本专利技术属于复卷贴合机领域，特别涉及一种基于无人机图像采集的风力缺陷双光融合自动检测技术。
技术介绍
1、风能作为一种新兴的可再生能源，凭借其显著的环保特性和相对低成本优势，在我国电能结构中正逐渐占据举足轻重的地位。风力发电机，作为风能向电能转换的核心设备，其叶片组件的重要性不言而喻。
2、相关研究表明，叶片表面粗糙度的增加及缺陷的累积，会直接导致发电效率显著下降，降幅范围可达5％至30％。更为严峻的是，在某些极端情况下，这些问题甚至可能诱发叶片结构的断裂，对风机的安全运行构成严重威胁。
3、风力发电机叶片的故障或缺陷可能源于多种因素。长距离运输过程中产生的划痕、恶劣环境中风沙雨雪雷电的侵蚀、以及高频交变负载导致的疲劳损伤等，均可能对叶片造成不可逆转的损害。
4、长期对叶片进行检测的结果揭示，叶片的主要缺陷包括表面涂层的脱落、砂眼的形成、裂纹的扩展、边缘的腐蚀、开裂、褶皱、雷击痕迹以及结冰等现象。值得注意的是，叶片损坏是维修成本最高的损坏类型之一，其修复或更换成本约占风机总成本的20％至30％，这对风机的长期运营和维护带来了显著的经济压力。
5、然而，由于风机的高度和角度限制，叶片的检测工作面临极大的挑战，成为作业中的一大难题。传统的检测方法主要依赖人工完成，但在检测精度、速度以及安全性方面均存在明显的局限性。因此，检测过程不仅困难重重，而且伴随着较高的安全风险，亟需一种新的、更为高效的检测方法来应对这一挑战。
技术实现思路
1、专
2、技术方案：为了实现上述目的，本专利技术提供了一种基于无人机图像采集的风力缺陷双光融合自动检测技术，包括如下步骤：
3、步骤1，无人机采集风力发电机叶片的红外图像与可见光图像；步骤2，将红外图像与可见光图像在输入层进行数据处理，作为双输入层双路主干网络层的输入；步骤3，双输入层双路主干网络层提取红外多层次特征图和可见光多层次特征图；步骤4，双路颈部网络层分别对红外多层次特征图和可见光多层次特征图进行融合，得到红外特征图和可见光特征图；步骤5，将红外特征图和可见光特征图输入双路特征融合模块进行特征融合，得到融合特征图；步骤6，将融合特征图输入检测层进行检测识别。
4、进一步的，所述步骤2中将红外图像与可见光图像在输入层进行数据处理操作包括：步骤201：复制红外图像的信息，使得输入的红外图像通道数增至为3个；步骤202：将图像输入网络层中，此时通道数为6，其中可见光图像有3个通道，即rgb通道；红外图像通道数为3。增加了通道数，增加了特征提取的维度。
5、进一步的，所述步骤2中双输入层双路主干网络层包括两个yolov7的主干网络，分别对应处理红外图像与可见光图像，提取两者的图像特征。分别对红外图像与可将光图像进行特征提取，丰富了图像的特征。
6、进一步的，所述步骤4中双路颈部网络层为一组颈部网络，分别对应处理红外图像特征与可见光图像特征；所述颈部网络为双路由注意力模块、并联通道注意力模块与yolov7的颈部网络串联构成。将双路由注意力机制、并联通道注意力模块和yolov7的颈部网络串联使用，整合图像特征。
7、进一步的，所述并联通道注意力模块保留具有3d排列和多层感知器的通道注意力模块mc、卷积空间注意力模块ms，计算过程如下：
8、
9、f2＝f′+f″
10、其中，f1为输入特征，f2为输出特征，mc()表示通道注意力计算操作，ms()表示卷积空间注意力计算操作。并联通道注意力模块结合通道注意力和卷积注意力，可同时关注全局信息和重要特征，捕获全局视觉场景上下文，增大目标特征与环境语义差异，一定程度上解决叶片表面缺陷尺度不一的问题。
11、进一步的，所述步骤5中双路特征融合模块包括步骤501：双路特征信息融合、池化与卷积；步骤502：图像的局部特征提取，在通道维度利用sigmoid函数生成红外权重和可见光权重，并将权重与源图像特征图相乘，根据特征图中权重值的不同，动态调整w值以生成权重图，获得图像的局部特征；同时乘积结果与源图像相加并作卷积平滑处理；步骤503：图像的上下文信息提取，通过不同的扩张率进行自注意机制操作，在不同感受野上提取图像的上下文信息图像的上下文信息提取。双路特征融合模块强化了融合特征的信息，增强了融合图像的表达性能。
12、进一步的，所述步骤501双路特征信息融合、池化与卷积计算过程如下：
13、zr＝pw_conv2(aap(c(iir+ivi)))
14、其中，zr为处理后的全局特征向量；aap()为自适应平均池化函数；pw_conv2()表示点卷积层；c()表示concat函数；iir,ivi表示输入的红外与可见光特征图。该步骤完成了全局特征特征向量的初步生成。
15、进一步的，所述步骤502图像的局部特征提取计算过程如下：
16、w＝δ(fi(zf))
17、其中，w代表生成的红外权重；δ()代表sigmoid函数；fi()代表批量处理的结果集合；由于红外图像与可见光图像具有互补特征，因此将红外权重设定为w，可见光权重则为1-w。乘积结果与源图像相加并作卷积平滑处理，使得融合特征同时具备全局特征和局部特征。
18、进一步的，所述步骤503图像的上下文信息提取包括自注意力计算和生成增强的融合特征变量，计算过程如下：
19、xi＝attention(q，k，v，ri)
20、sr＝conv(c(x1，x2，x3，x4))
21、其中，q，k，v代表查询、键和值矩阵，由权重计算得来；ri代表第i个扩张率，i∈{1，2，3，4}，attention()为自注意力计算，xi为第i个扩张率下的融合结果；conv()为卷积操作，c()表示concat函数，sr为融合特征变量。通过不同的扩张率进行自注意机制操作，在不同感受野上提取图像的上下文信息，提高了模型的性能。
22、进一步的，所述步骤6将融合特征图输入检测层进行检测识别中的检测层为yolov7的分类器。yolov7的分类器能够在复杂背景中准确识别出目标物体，检测精度较高。
23、上述技术方案可以看出，本专利技术具有如下有益效果：
24、本专利技术的目的是提供一种基于无人机图像采集的风力缺陷双光融合自动检测技术，与传统检测方法相比，无人机能够显著降低高空作业风险，本文档来自技高网...
【技术保护点】
1.一种基于无人机图像采集的风力缺陷双光融合自动检测技术，其特征在于：包括如下步骤：
2.根据权利要求1所述的基于无人机图像采集的风力缺陷双光融合自动检测技术，其特征在于：所述步骤2中将红外图像与可见光图像在输入层进行数据处理操作包括：
3.根据权利要求1所述的基于无人机图像采集的风力缺陷双光融合自动检测技术，其特征在于：所述步骤2中双输入层双路主干网络层包括两个yolov7的主干网络，分别对应处理红外图像与可见光图像，提取两者的图像特征。
4.根据权利要求1所述的基于无人机图像采集的风力缺陷双光融合自动检测技术，其特征在于：所述步骤4中双路颈部网络层为一组颈部网络，分别对应处理红外图像特征与可见光图像特征；所述颈部网络为双路由注意力模块、并联通道注意力模块与yolov7的颈部网络串联构成。
5.根据权利要求4所述的基于无人机图像采集的风力缺陷双光融合自动检测技术，其特征在于：所述并联通道注意力模块保留具有3D排列和多层感知器的通道注意力模块MC、卷积空间注意力模块MS，计算过程如下：
6.根据权利要求1所述的基于无人机
7.根据权利要求6所述的基于无人机图像采集的风力缺陷双光融合自动检测技术，其特征在于：所述步骤501双路特征信息融合、池化与卷积计算过程如下：
8.根据权利要求7所述的基于无人机图像采集的风力缺陷双光融合自动检测技术，其特征在于：所述步骤502图像的局部特征提取计算过程如下：
9.根据权利要求8所述的基于无人机图像采集的风力缺陷双光融合自动检测技术，其特征在于：所述步骤503图像的上下文信息提取包括自注意力计算和生成增强的融合特征变量，计算过程如下：
10.根据权利要求1所述的基于无人机图像采集的风力缺陷双光融合自动检测技术，其特征在于：所述步骤6将融合特征图输入检测层进行检测识别中的检测层为yolov7的分类器。
...【技术特征摘要】
1.一种基于无人机图像采集的风力缺陷双光融合自动检测技术，其特征在于：包括如下步骤：
2.根据权利要求1所述的基于无人机图像采集的风力缺陷双光融合自动检测技术，其特征在于：所述步骤2中将红外图像与可见光图像在输入层进行数据处理操作包括：
3.根据权利要求1所述的基于无人机图像采集的风力缺陷双光融合自动检测技术，其特征在于：所述步骤2中双输入层双路主干网络层包括两个yolov7的主干网络，分别对应处理红外图像与可见光图像，提取两者的图像特征。
4.根据权利要求1所述的基于无人机图像采集的风力缺陷双光融合自动检测技术，其特征在于：所述步骤4中双路颈部网络层为一组颈部网络，分别对应处理红外图像特征与可见光图像特征；所述颈部网络为双路由注意力模块、并联通道注意力模块与yolov7的颈部网络串联构成。
5.根据权利要求4所述的基于无人机图像采集的风力缺陷双光融合自动检测技术，其特征在于：所述并联通道注意力模块保留具有3d排列和...
【专利技术属性】
技术研发人员：白建国，汪晴，张苏威，尹睿涵，范晨亮，陶永刚，韩宁，卢俊峰，高娟娟，
申请(专利权)人：国电电力内蒙古新能源开发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。