【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种基于双分支流模型的无监督缺陷分类与分割方法、系统及存储介质。
技术介绍
1、现有的缺陷自动化检测技术主要分为三大类，一是基于传统机器视觉的方法，二是基于有监督的深度学习的方法，三是基于无监督的深度学习方法。在基于传统机器视觉的方法中，主要通过图像处理例如边缘处理、阈值分割、形态学操作等对图像中的缺陷进行识别和分割，或者通过人工设计特征提取器例如sift、orb或canny边缘提取器等提取图像特征后进行分类。专利cn113245241a提出了一种基于机器视觉的载玻璃缺陷检测方法。专利cn114486916a提出了一种基于机器视觉的手机玻璃盖缺陷检测方法。专利cn114813748a公开了一种基于机器视觉的钢表面缺陷检测方法和系统，采用更加有效的图像滤波去噪技术使图像更清晰,并对图像特征选择和缺陷分类识别的处理过程进行优化来提高方法的检测精度。专利cn114299020a公开了一种基于机器视觉的滑板车显示屏缺陷检测方法，采用图像处理手段提取显示屏区域进而分割各个字符,最终结合字体图像的几何特征、灰度特征进行缺陷检测。专利cn115228770a提出了一种基于机器视觉的铝型材表面缺陷检测分拣系统，通过机器视觉的方法实现对铝型材表面缺陷的较高精度识别，并使用机器臂进行抓取分类。专利cn115201212a使用log边缘检测算法进行图像处理，通过将塑料制品的缺陷区域转化为正常区域后与原图像进行逐像素比对的方式实现塑料制品缺陷的分割。专利cn114894808a公开了一种基于机器视觉的热管管口的缺陷检测装
2、在基于有监督的深度学习的方法中，是通过神经网络构成的分类、检测和分割模型实现缺陷的分类、检测和分割，根据训练模型所使用的标注信息的精细程度可以进一步分为全监督模型和弱监督模型。专利cn116542929a公开了一种基于densenet的aoi缺陷检测方法。专利cn116051502a公开了一种基于图像处理与深度学习相结合的大丝束碳纤维缺陷检测方法。专利cn114998202a公开了一种基于学生卷积神经网络和教师卷积神经网络的半监督缺陷检测方法。专利cn117110305a公开了一种基于深度学习的电池壳表面缺陷检测方法。专利cn117218106a公开了一种基于yolov5的芯片蓝膜脏污破损缺陷检测方法。专利cn111652883a公开了一种基于深度学习分类模型的玻璃表面缺陷检测方法。专利cn111833324a公开了一种基于深度学习的光纤插芯缺陷检测方法，并通过深度学习算法和传统特征检测算法的双重检测来提高缺陷检测精度。专利cn114494142a提出了一种基于深度学习的移动终端中框缺陷检测方法，通过将提取的目标中框图像输入到训练好的目标检测模型来实现对缺陷的定位和类别预测。
3、为了摆脱基于有监督的深度学习方法在训练过程中对昂贵标注的依赖，基于无监督的缺陷检测方法被提出。专利cn117237429a公开了一种基于显著目标检测的无监督纹理类缺陷检测方法，通过将纹理类数据集中的缺陷图像中截取缺陷部分作为前景图像,将对应类别的正常图像作为背景图像,将前景图像和背景图像结合生成新的缺陷图像进行训练。专利cn117237309a公开了一种无监督式芯片缺陷检测方法，通过对比重构网络重构待检测芯片图像前后的差异进行缺陷检测。专利cn116912173a公开了一种基于无监督异常检测的产品表观缺陷检测方法，通过预训练神经网络提取正常样本图像特征以提构成源特征空间，经由自适应存储库压缩存储数据表征，接着通过特征映射网络将样本特征从所述源特征空间重新映射到新的目标特征空间，最后在高维特征空间中将目标特征空间中的样本特征与存储库中的压缩特征进行判别,生成待测样本图像中可能出现的异常区域的异常分数图,实现缺陷的检测和定位。专利cn115375604a提出了一种基于量子化自编码器的无监督缺陷检测方法，通过将输入图像转换为正常样本并将其与原始输入进行逐像素比对的方式实现对缺陷的定位，同时通过mse和ssim两种指标的结合,提升了对缺陷的定位能力。专利cn115187525a公开了一种基于知识蒸馏的无监督图像缺陷检测方法，通过其他领域公开的数据集训练一个教师网络来指导学生网络在缺陷数据上的特征获取，最终通过距离矩阵与像素级缺陷阈值和图像级缺陷阈值之间的关系来判断图像中是否存在缺陷，该方法在训练过程中只用到正常样本，大大降低了模型的训练成本。专利cn111340791a提出了一种基于gan改进算法的光伏组件无监督缺陷检测方法，通过ssim-gan算法模型来训练生成对抗网络，能够在缺陷图像数少的情况下实现对未知缺陷的快速且精准的检测,并具有环境适应性和鲁棒性强的优点。同时在工业界也推出了一批成熟的基于深度学习的缺陷检测软件，比如瑞士的vidi软件，韩国的suakit数优深度学习缺陷检测软件，德国的halcon软件，以及国内的百度阿里腾讯等都推出了商业化的深度学习产品表面缺陷检测软件，并成功运用在3c零部件、太阳能电池板、新能源电池等行业。
4、现有技术的问题及缺陷:
5、基于传统机器视觉的缺陷检测方法通用性差，往往需要定制化方案，并且检测的速度和精度都比不上基于深度学习的方法。基于边缘提取或特征提取的机器视觉算法在图像处理上都需要耗费较多的时间，且检测的精度也相对较低。虽然深度学习的方法在检测速度和精度上有了很大提升，但基于有监督的深度学习方法往往需要采集大量的缺陷样本并进行精确的像素级标注来保证模型的检测精度，存在标注成本高昂的问题。比如专利cn116542929a、cn116051502a、cn117218106a、cn111833324a、cn114494142a都需要大量昂贵的包围框标注或者像素级标注来获得较好的缺陷检测性能。专利cn117237429a、cn117237309a、cn116912173a、cn115375604a、cn115187525a、cn111340791a采用无监督学习的方法来缓解标注成本高昂的问题。然而对于专利cn117237429a这类生成伪缺陷图片训练模型的方法会限制模型检测缺陷的种类，难以检测出所有种类的缺陷。对于专利cn116912173a这类构建特征记忆库的方法会消耗大量的存储空间，对于硬件设备的存储空间要求较高。对于专利cn115187525a这类基于知识蒸馏的方法，模型的缺陷检测能力受所选择的预训练教师网络影响很大，容易造成模型对某些类型的缺陷检测效果很好，对某些类型的缺陷检测效果很差，泛化性不够。对于专利cn117237309a、cn115375604a、cn111340791a这类基于重构思想的算法存在容易忽略细小缺陷、难以很好重构缺陷细节的问题。因此，目前缺少一种泛化性强、同时具有优秀的缺陷分类和缺陷分割能力的基于无监督的深度学习算法。
技术实现思路
1、现有基于有监督的缺陷检测方法在训练过程本文档来自技高网...
【技术保护点】
1.一种基于双分支流模型的无监督缺陷分类与分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的无监督缺陷分类与分割方法，其特征在于，在所述步骤一中，首先将输入图片调整为原图的1/2、1/4，并将原图记为I0，将调整为原图1/2图片和1/4图片分别记为I1和I2，将I0、I1、I2分别输入特征提取器，I0经过特征提取器得到特征图x0、x1，I1经过特征提取器得到特征图x2，I2经过特征提取器得到特征图x。
3.根据权利要求1所述的无监督缺陷分类与分割方法，其特征在于，在所述步骤二中，分割流模型耦合层采用Real-NVP架构实现，具体步骤如下：输入样本特征图x首先经过通道打乱操作得到特征图xi，再按照通道维度均分为特征图xi1、特征图xi2，接着将特征图xi1经过卷积神经网络c1处理得到通道数为2C的特征图，再按照通道维度均分为特征图t1、s1，s1经过指数运算后与xi2按元素相乘后与t1相加得到特征图zo2；
4.根据权利要求3所述的无监督缺陷分类与分割方法，其特征在于，所述分割流模型耦合层仿射变换的计算流程可通过公式(1)描述：>
5.根据权利要求1所述的无监督缺陷分类与分割方法，其特征在于，在所述步骤二中，分类流模型的多尺度耦合层架构采用Real-NVP架构实现，具体步骤如下：
6.根据权利要求5所述的无监督缺陷分类与分割方法，其特征在于，所述门控特征融合模块GMFF运行如下步骤：
7.根据权利要求6所述的无监督缺陷分类与分割方法，其特征在于，在所述门控特征融合模块运行步骤中，门控单元的计算公式如公式3所示，
8.根据权利要求6所述的无监督缺陷分类与分割方法，其特征在于，所述双分支流流模型在训练时采用极大似然估计的方法构建损失函数引导双分支流模型的训练，具体为：
9.一种基于双分支流模型的无监督缺陷分类与分割系统，其特征在于，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现权利要求1-8中任一项所述无监督缺陷分类与分割方法的步骤。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1-8中任一项所述无监督缺陷分类与分割方法的步骤。
...【技术特征摘要】
1.一种基于双分支流模型的无监督缺陷分类与分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的无监督缺陷分类与分割方法，其特征在于，在所述步骤一中，首先将输入图片调整为原图的1/2、1/4，并将原图记为i0，将调整为原图1/2图片和1/4图片分别记为i1和i2，将i0、i1、i2分别输入特征提取器，i0经过特征提取器得到特征图x0、x1，i1经过特征提取器得到特征图x2，i2经过特征提取器得到特征图x。
3.根据权利要求1所述的无监督缺陷分类与分割方法，其特征在于，在所述步骤二中，分割流模型耦合层采用real-nvp架构实现，具体步骤如下：输入样本特征图x首先经过通道打乱操作得到特征图xi，再按照通道维度均分为特征图xi1、特征图xi2，接着将特征图xi1经过卷积神经网络c1处理得到通道数为2c的特征图，再按照通道维度均分为特征图t1、s1，s1经过指数运算后与xi2按元素相乘后与t1相加得到特征图zo2；
4.根据权利要求3所述的无监督缺陷分类与分割方法，其特征在于，所述分割流模型耦合层仿射变换的计算流程可通过公式(1)描述：
5...
【专利技术属性】
技术研发人员：吴晓军，赵艳涛，
申请(专利权)人：哈尔滨工业大学深圳哈尔滨工业大学深圳科技创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。