【技术实现步骤摘要】
本专利技术涉及图像处理，具体涉及一种基于多窗口融合自注意力模型的皮带损伤分类方法。
技术介绍
1、在冶金、矿山等工业领域，皮带输送是常见的物料运输方法，皮带的划伤、撕裂等损伤都将严重影响皮带的正常传输。如果皮带损伤未及时处理，严重的情况可能造成整条皮带报废。传输皮带少则几十万，多则几百万甚至上千万，报废将给企业带来巨大的经济损失。因此，在运行过程中对皮带损伤进行检测变得愈发重要。
2、随着人工智能技术的发展，基于图像的皮带损伤检测技术得到快速的发展。在皮带损伤检测时，检测仪发射激光条纹连续扫描传输皮带底部生成皮带轮廓图像，再通过该图像判断皮带是否有损伤。但为获得较高的检测敏感度，部分噪声也常被当作损伤检测出来。常见的噪声可能是由灰尘、不均衡光照等原因引起。如将这些噪声当作真正的皮带损伤，频繁进行停机检查操作将会严重影响物料的正常传输。
3、因此，提出一种方法有效除去检查结果中的噪声干扰误报是皮带损伤检测中需要解决的问题。
技术实现思路
1、鉴于此，本专利技术提供了一种基于多窗口融合自注意力模型的皮带损伤分类方法，将基于多窗口融合的自注意力网络，应用于激光皮带图像的损伤分类。
2、本专利技术提供的技术方案如下：一种基于多窗口融合自注意力模型的皮带损伤分类方法，包括如下步骤：
3、s1：提取皮带激光图像的特征图；
4、s2：构建基于多窗口融合自注意力的网络结构，其中所述基于多窗口融合自注意力的网络结构由上侧的主干通路和下侧的分
5、s3：将皮带激光图像的特征图输入到所述网络结构中，通过主干通路、分支通路分别提取图像的局部窗口信息及不同级语义特征的跨窗口信息，并在主干通路对提取信息进行融合，经过四次特征信息提取，生成特定大小的特征图；
6、s4：使用平均池化操作使得特征图变为特征向量，将特征向量被输入到有两个隐藏节点的全连接层；
7、s5：softmax激活层与全连接层相连接，将皮带激光图像的特征图输出为真实损伤或干扰的概率。
8、优选地，s3中将皮带激光图像的特征图输入到所述网络结构中，包括：
9、s31：主干通路、分支通路中的图像拆分模块分别将特定大小的分成连续无重叠的窗口图像；
10、s32：分支通路的窗口图像被输入与之连接的自注意力模块计算基于窗口的多头自注意力，还被输入到主干通路，与主干通路提取的窗口图像一同输入到融合模块，实现局部窗口信息与不同级语义跨窗口特征信息的融合，融合后的特征再输入到主干通路的自注意力模块；
11、s33：主干通路、分支通路中的自注意力模块的输出均被输入到与之相连的窗口组合模块中，自适应地融合主干及分支网络不同状态的特征图f1及f2；
12、随着网络的加深，输入每个状态的特征图的尺度不断减小，其同等大小窗口表示的感受野不断增大，其中第i+1个状态中窗口图像的感受野是第i个状态中窗口图像感受野的4倍。
13、优选地，所述自注意力模块由具有残差结构的窗口注意力模块及多层感知机组成，且图像被输入到自注意力及多层感知机模块前先进行正则化操作；
14、使用relu激活处理对其进行正则化：其中，softplus(x)＝loge(1+ex)，其对q与kt对的乘机进行归一化；
15、在自注意力模块中，特征图被平均划分为多个窗口，每个窗口均用列向量token表示，并在窗口内进行多头注意力计算；
16、在分支通路的自注意力模块中，仅计算来自分支通路的特征图的多头自注意力；在主干通路的自注意力模块中，需计算自主干及分支通路的融合后特征图的多头自注意力。
17、优选地，s32中自注意力模块计算基于窗口的多头自注意力，包括：
18、s321：对输入图像进行线性变换生成q、k和v向量，其中q表示查询query,k表示键key,v表示value,v；
19、s322：将线性变换后的结果划分为h个头，每个头均学习不同的注意力权重；对于四个不同状态，多头注意力的数目分别为3，6，12及24；
20、s323：计算每个头的自注意力，如公式(1)所示。
21、
22、d为比例因子；
23、s324：多个头自注意力计算后的输出，通过可学习的线性变换权重矩阵wo合并成最终的多头注意力输出，如公式(2)表示。
24、multihead(q,k,v)＝concat(head1,...,headh)wo (2)。
25、优选地，s33中通过窗口组合模块自适应地融合主干及分支网络不同状态的特征图f1及f2；包括：
26、s331：将特征图f1及f2分别输入到分组卷积模块，在该模块中将所有相同位置特征图分到同一组，按照分组结果对特征图f1及f2，进行分组卷积；
27、s332：分组卷积后对分支通路的特征图进行点卷积，使其通道数与主干通过通道数一致；
28、s333：使用全局平均池化操作来提取主干及分支通路特征图的全局空间信息s1及s2；
29、s334：使用softmax激活函数提取特征图的注意力系数，融合后的特征图f表示为：
30、f＝soft(ave(conv分组(f1)))*conv分组(f1)+soft(ave(conv分组(f1)))*conv点(conv分组(f2))(3)。
31、本专利技术提供的一种基于多窗口融合自注意力模型的皮带损伤分类方法，该方法通过构建基于多窗口融合的自注意力网络，并将其应用于激光皮带图像的损伤分类基于多窗口融合的自注意力网络通过两条通路分别提取局部窗口信息及不同级语义特征的跨窗口信息，并在主干通过对提取信息进行融合，使得网络即能有效利用图像信息又能大幅度减少计算量。
本文档来自技高网...【技术保护点】
1.一种基于多窗口融合自注意力模型的皮带损伤分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于多窗口融合自注意力模型的皮带损伤分类方法，其特征在于，S3中将皮带激光图像的特征图输入到所述网络结构中，包括：
3.根据权利要求1的一种基于多窗口融合自注意力模型的皮带损伤分类方法，其特征在于，所述自注意力模块由具有残差结构的窗口注意力模块及多层感知机组成，且图像被输入到自注意力及多层感知机模块前先进行正则化操作；
4.据权利要求2一种基于多窗口融合自注意力模型的皮带损伤分类方法，其特征在于，S32中自注意力模块计算基于窗口的多头自注意力，包括：
5.根据权利要求2所述的基于多窗口融合自注意力模型的皮带损伤分类方法，其特征在于，S33中通过窗口组合模块自适应地融合主干及分支网络不同状态的特征图f1及f2；包括：
【技术特征摘要】
1.一种基于多窗口融合自注意力模型的皮带损伤分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于多窗口融合自注意力模型的皮带损伤分类方法，其特征在于，s3中将皮带激光图像的特征图输入到所述网络结构中，包括：
3.根据权利要求1的一种基于多窗口融合自注意力模型的皮带损伤分类方法，其特征在于，所述自注意力模块由具有残差结构的窗口注意力模块及多层感知机...
【专利技术属性】
技术研发人员：郭薇，颜漫，周翰逊，张国栋，
申请(专利权)人：沈阳航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。