【技术实现步骤摘要】
本专利技术涉及缺陷检测，具体而言，涉及一种基于混合注意力机制和类别特征优化的神经网络及缺陷检测方法。
技术介绍
1、面板加工工厂在生产面板过程中会产生很多缺陷，然而整个面板产品的生产工艺流程复杂、生产周期长，从基板到生产加工完毕常常需要较长的时间，因此在每个工艺段产生的缺陷都需要时刻监控，避免缺陷流入下一道制程造成良率的降低。
2、目前，面板缺陷通常采用神经网络进行缺陷检测。其中，神经网络的首先利用一个卷积层提取浅层纹理特征，然后采用一系列叠加的残差层提取深层语义特征，最后将浅层纹理特征和深层语义特征融合起来输入全连接层进行缺陷类型预测。为了有效提取和聚合特征信息，通道注意力机制和自注意力机制被用于各种检测任务，但由于现有的transformer（核心是自注意力机制）在利用输入信息时只能使用有限的空间范围，这意味着目前的神经网络还没有充分发挥transformer的潜力；同时在进行特征融合时，多尺度特征图采用直接相加或相乘的方式进行融合可能会错误的强调一些不属于当前类别的的区域的特征，造成缺陷检测容易出现漏检和误检。
技术实现思路
1、为了解决现有神经网络进行面板缺陷检测时容易出现漏检和误检的问题，本专利技术实施例提供了一种基于混合注意力机制和类别特征优化的神经网络及缺陷检测方法。
2、在第一方面，本专利技术实施例中提供一种基于混合注意力机制和类别特征优化的神经网络，所述神经网络包括特征提取网络、transformer网络、十字交叉注意力网络、特征融合网络、
3、所述特征提取网络用于对原始图像进行浅层特征提取和深层特征提取，以得到浅层纹理特征图和深层语义特征图；
4、所述transformer网络用于对浅层纹理特征图和深层语义特征图进行依赖关系构建，以得到浅层区域特征图和深层区域特征图；
5、所述十字交叉注意力网络用于对浅层区域特征图和深层区域特征图进行全局像素点关联，以得到浅层区域关联图和深层区域关联图；
6、所述特征融合网络用于对浅层区域关联图和深层区域关联图进行图像特征融合，以得到特征融合图；
7、所述类别特征优化网络用于对特征融合图进行特征信息平滑处理，以得到特征优化图；
8、所述全连接层用于对特征优化图进行类别预测，以得到类别预测结果。
9、于上述实施例中，本专利技术为了激活原始图像更多的输入像素点，将通道注意力和自注意力进行结合，充分利用各自强大局部拟合能力和全局统计信息能力，将浅层特征和深沉特征输入transformer网络进行依赖关系构建，以实现混合注意力输出；并且为了更好聚合跨窗口信息，解决transformer网络窗口划分造成的伪影及移动窗口在窗口间的连接效率低等问题，将混合注意力输出结果送入后续叠加的十字交叉注意力网络，以增强相邻窗口特征之间的交互作用；同时，在多尺度特征图融合阶段，由于进行相加或相乘操作来强调特征图中对应语义类别区域的特征，所有可能导会致区域内一些错误的特征被强调，因此引入一个类别级别的类别特征优化网络来改善特征，以提高了缺陷检测精度。
10、作为本申请一些可选实施方式，所述transformer网络用于对浅层纹理特征图和深层语义特征图进行依赖关系构建的流程如下：
11、对浅层纹理特征图和深层语义特征图进行归一化处理；
12、利用窗口注意力机制将归一化处理的浅层纹理特征图和深层语义特征图划分为多个固定大小的窗口，并且在每个窗口内计算自注意力；
13、利用通道注意力机制将窗口的位置进行偏移，并且在每个窗口内调整自注意力，计算通道注意力权重并且进行特征加权，以得到浅层区域特征图和深层区域特征图。
14、于上述实施例中，本专利技术首先通过窗口注意力机制捕捉局部区域关联信息，然后通道注意力机制引入全局信息计算、通道注意力权重以及特征加权，以生成高质量的特征空间。
15、作为本申请一些可选实施方式，所述十字交叉注意力网络用于对浅层区域特征图和深层区域特征图进行全局像素点关联的流程如下：
16、对浅层区域特征图和深层区域特征图中的每个像素点进行行自注意力计算，以捕获水平方向上的上下文信息；
17、对包含水平上下文信息的浅层区域特征图和深层区域特征图进行列自注意力计算，以捕获垂直方向上的上下文信息，生成包含竖直上下文信息的浅层区域关联图和深层区域关联图。
18、于上述实施例中，本专利技术通过增加十字交叉注意力网络可以使得目标像素点与任意一个像素点关联，有效融合全局信息，增强窗口间信息的流动性。
19、作为本申请一些可选实施方式，所述图像特征融合是对浅层区域关联图和深层区域关联图进行特征图连接融合或特征图相加融合。
20、于上述实施例中，本专利技术采用相加或相乘操作来强调特征图中对应语义类别区域的特征。
21、作为本申请一些可选实施方式，所述类别特征优化网络用于对特征融合图进行特征信息平滑处理的流程如下：
22、对特征融合图进行池化操作、卷积处理以及激活处理，以得到平滑特征融合图；
23、对平滑特征融合图和特征融合图进行逐像素点相乘，以得到特征优化图。
24、于上述实施例中，本专利技术首先在通道维度上对特征融合图进行池化展开，然后进行卷积处理以及激活处理，最后处理之后的特与本身特征进行像素点相乘操作，能够在一定程度上平滑引入的错误信息。
25、在第二方面，本专利技术提供一种基于混合注意力机制和类别特征优化的缺陷检测方法，所述方法使用所述神经网络，所述方法包括以下步骤：
26、获取待检测面板的原始图像，并且对待检测面板的原始图像进行预处理；其中，所述预处理包括对待检测面板的原始图像进行干涉条纹滤波、图像锐化增强；
27、将待检测面板的原始图像输入神经网络进行缺陷类型预测，以得到面板缺陷类型预测结果。
28、于上述实施例中，本专利技术通过对待检测面板的原始图像进行预处理，通过干涉条纹滤除可以凸显出图像边缘，有效减轻由于图像拍摄中固有的横竖纹路产生的影响，通过图像锐化增强可以增强图像中的高频信息，从而实现锐化效果；并且采用改进的神经网络对待检测面板的原始图像进行缺陷类型预测，不容易出现漏检和过检的问题。
29、作为本申请一些可选实施方式，将待检测面板的原始图像输入神经网络进行缺陷类型预测之前，需要对神经网络进行模型训练，所述模型训练的流程如下：
30、获取历史面板的原始图像，并且对历史面板的原始图像进行预处理，其中，所述预处理包括对历史面板的原始图像进行干涉条纹滤波、图像锐化增强；
31、将历史面板的原始图像输入神经网络进行二元交叉熵损失计算，以实现模型训练。
32、于上述实施例中，本专利技术采用二元交叉熵损失计算的方式进行模型训练，即可以通过二元交叉熵损失计算衡量神经网络预测的概率分布与真实训练标签之间的差异，通过模型训练使得本文档来自技高网...
【技术保护点】
1.一种基于混合注意力机制和类别特征优化的神经网络，其特征在于，所述神经网络包括特征提取网络、Transformer网络、十字交叉注意力网络、特征融合网络、类别特征优化网络以及全连接层；
2.根据权利要求1所述的一种基于混合注意力机制和类别特征优化的神经网络，其特征在于，所述Transformer网络用于对浅层纹理特征图和深层语义特征图进行依赖关系构建的流程如下：
3.根据权利要求1所述的一种基于混合注意力机制和类别特征优化的神经网络，其特征在于，所述十字交叉注意力网络用于对浅层区域特征图和深层区域特征图进行全局像素点关联的流程如下：
4.根据权利要求1所述的一种基于混合注意力机制和类别特征优化的神经网络，其特征在于，所述图像特征融合是对浅层区域关联图和深层区域关联图进行特征图连接融合或特征图相加融合。
5.根据权利要求1所述的一种基于混合注意力机制和类别特征优化的神经网络，其特征在于，所述类别特征优化网络用于对特征融合图进行特征信息平滑处理的流程如下：
6.一种基于混合注意力机制和类别特征优化的缺陷检测方法，其特征在于
7.根据权利要求6所述的一种基于混合注意力机制和类别特征优化的缺陷检测方法，其特征在于，将待检测面板的原始图像输入神经网络进行缺陷类型预测之前，需要对神经网络进行模型训练，所述模型训练的流程如下：
8.一种基于混合注意力机制和类别特征优化的缺陷检测系统，其特征在于，所述系统使用权利要求1~5中任一项所述基于混合注意力机制和类别特征优化的神经网络，所述系统包括：
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求6-7中任一项所述基于混合注意力机制和类别特征优化的缺陷检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求6-7中任一项所述基于混合注意力机制和类别特征优化的缺陷检测方法。
...【技术特征摘要】
1.一种基于混合注意力机制和类别特征优化的神经网络，其特征在于，所述神经网络包括特征提取网络、transformer网络、十字交叉注意力网络、特征融合网络、类别特征优化网络以及全连接层；
2.根据权利要求1所述的一种基于混合注意力机制和类别特征优化的神经网络，其特征在于，所述transformer网络用于对浅层纹理特征图和深层语义特征图进行依赖关系构建的流程如下：
3.根据权利要求1所述的一种基于混合注意力机制和类别特征优化的神经网络，其特征在于，所述十字交叉注意力网络用于对浅层区域特征图和深层区域特征图进行全局像素点关联的流程如下：
4.根据权利要求1所述的一种基于混合注意力机制和类别特征优化的神经网络，其特征在于，所述图像特征融合是对浅层区域关联图和深层区域关联图进行特征图连接融合或特征图相加融合。
5.根据权利要求1所述的一种基于混合注意力机制和类别特征优化的神经网络，其特征在于，所述类别特征优化网络用于对特征融合图进行特征信息平滑处理的流程如下：
6.一种基于混合注意力机制和类别特...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：成都数之联科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。