一种基于大律算法与通道注意力机制的数据增强方法技术

本发明专利技术提供了一种基于大律算法与通道注意力机制的数据增强方法，涉及表面缺陷检测技术领域。首先对输入的正常样本进行大律算法(OTSU)计算，以得到对图像进行阈值分割的最佳阈值，并将图像进行二值化操作，得到二值化掩码图像作为数据增强的ROI。然后，将二值化掩码图像表示为矩阵，将其中值为1的像素点坐标放入数组IDX中，并通过随机方式在IDX数组中选择一个seed像素点作为数据增强的位置，以避免数据增强的图像块粘贴到背景中产生污染数据。最后，通过随机裁剪原图像以获得图像块，将图像块与原图无缝融合，实现数据增强。在神经网络的训练中，引入SENet自注意力模块，加强网络的建模能力，提高检测性能。提高检测性能。提高检测性能。

【技术实现步骤摘要】
一种基于大律算法与通道注意力机制的数据增强方法


[0001]本专利技术涉及表面缺陷检测
，尤其涉及一种基于大律算法与通道注意力机制的数据增强方法。

技术介绍

[0002]表面缺陷检测一直是工业产品检验的热点问题，广泛应用于印刷、玻璃、纺织等行业。其目的是通过自动化检测，定位产品表面的划痕、裂缝、灰尘和油墨等缺陷，以替代人工检查。随着深度学习的发展，其性能在大多数场景下已经远远超越传统算法。但与传统算法相比，深度学习需要大量的数据驱动，如目标检测用的COCO数据集和图像分类所使用的ImageNet数据集等。因此，在规模庞大的数据集的驱动下，深度学习模型的性能得到了显著提高，数据获取变得至关重要。然而，目前工业领域中数据的获取存在以下问题：1.获取缺陷的异常样本困难，因为在实际生产中次品率极低，且异常样本存在大量无用的重复样本，有时甚至没有可用的异常样本；2.异常出现位置随机，即使采集足够数量的数据集，也无法确保异常在图像的各个位置都出现，使得数据集驱动的模型无法在各种背景下具有较强的检测性能；3.对异常样本进行数据标注需要耗费大量人力物力，因为相对于COCO等训练集的目标，工业生产中产生的缺陷往往十分微小，使得在复杂背景中寻找缺陷变得十分困难。尽管人们已经开始研究自监督或无监督的缺陷检测方法，但目前基于嵌入方法的异常检测技术严重限制了计算速度，基于重建的方法不能有效区分异常图像和正常图像，而基于数据增强的异常检测方法只能简单模拟真实缺陷。
[0003]因此，工业产品表面缺陷检测的数据获取和标注是一个具有挑战性的问题，需要不断探索新的方法和技术。除了以上提到的方法之外，还有一些新的研究方向，例如基于对抗样本的方法，可以通过向正常样本添加一些微小的扰动来产生对抗样本，以此来检测网络的鲁棒性。此外，还有一些基于元学习的方法，可以通过学习如何快速适应新的环境和任务来解决数据集规模小和数据不平衡等问题。这些方法都在不断地完善和发展，将会成为未来工业缺陷检测研究的重要方向。
[0004]总之，工业产品表面缺陷检测是一个非常重要的问题，其解决涉及到广泛的应用场景和实际生产。在深度学习和人工智能的推动下，我们已经取得了很多进展，但仍然需要不断地探索和创新，以解决数据获取和标注等难题，提高检测精度和效率，为工业生产提供更好的保障和支持。

技术实现思路

[0005]针对现有技术不足，本专利技术提供一种基于大律算法与通道注意力机制的数据增强方法，包括以下步骤：
[0006]步骤1：建立异常检测数据集。该数据集应包括验证集和训练集两个部分。其中，训练集仅包含正常无缺陷的样本，验证集则包含正常样本和异常样本两类。在处理异常样本时，不应进行类别的区分。
[0007]步骤2：对训练集中的样本进行预处理。首先，将所有图像统一调整为256
×
256像素大小，接着，进行图像归一化处理，使得所有图像的均值为[0.485，0.456，0.406]，标准差为[0.229，0.224，0.225]；
[0008]步骤3：读取数据集中的图像，并使用大律算法(OTSU)计算每张图像的灰度直方图。通过选取最佳阈值，将图像分为前景图像和背景图像。
[0009]步骤4：使用步骤3中获得的最佳阈值，对图像进行二值化阈值分割。将前景图像设为白色，背景图像设为黑色，从而获得二值化掩码。具体而言，大律算法(OTSU)进行阈值分割，其核心思想为基于最小化类内方差和最大化类间方差，将图像分为前景图像和背景图像两个类别，并找到一个最佳阈值，是的两个类别间的方差最大，同时使前景和背景内部的方差最小。具体的，设图像的灰度级别为k(0≤k≤L
‑
1，L为灰度级数)，灰度值为i(0≤i≤L
‑
1)，像素点数为N。首先计算图像的灰度直方图P(i)，如公式(5)所示：
[0010][0011]其中，nk表示灰度值为i的像素点。
[0012]之后，计算灰度级别k下的类内方差和类间方差如公式(6)，(7)所示：
[0013][0014][0015]其中，u
k
表示灰度级别k下的平均灰度值，u表示图像的总平均灰度值。
[0016]其次，计算每个灰度级别下的类间方差，如公式(8)所示：
[0017][0018]通过遍历灰度级别k的方式，计算每个灰度级别下的类间方差，并选取使类间方差最大的灰度级别，作为进行阈值分割的最佳阈值T。最终实现了图像的前景与背景分割，即将图像中灰度值小于等于T的像素点归为背景，灰度值大于T的像素点归为前景。
[0019]步骤5：将二值化掩码图像表示为矩阵M，该矩阵中只有0和1两个值，其中0代表图像中黑色像素点，1表示图像中白色像素点；
[0020]步骤6：将所有矩阵M中值为1的像素点表示为一个数组IDX，在进行数据增强的过程中，应随机选取该数组中IDX中的某个元素作为数据增强的位置，从而确保其在前景图像内部而不在背景图像中，避免污染数据生成。具体的，获取数据增强坐标时，将二值化图像表示为矩阵M，其中每个元素要么是0，要么是1。为了方便后续处理，将矩阵中值为1的像素位置保存在数组IDX中，如公式(9)所示：
[0021]IDX＝(i，j)|M(i，j)＝1
ꢀꢀꢀꢀ
(9)
[0022]其中，M(i，j)表示掩码图像中第i行第j列像素的值。
[0023]其次，随机的从数组IDX中选择一行，获取一个种子像素的位置，如公式(10)所示：
[0024]seed＝(i，j) (i，j)∈IDX
ꢀꢀꢀꢀ
(10)
[0025]其中，seed表示随机选择的种子像素的位置。这样就确保了seed种子选取的种子像素位置在图像的前景部分之中，从而避免了污染数据的产生。
[0026]步骤7：随机获取原图像的一个位置，并裁剪一个随机大小、宽长比的矩形图像块。
接着，旋转该图像块随机的角度并施加一定的颜色抖动。
[0027]步骤8：使用泊松图像融合算法，将步骤7中获得的图像块无缝地粘贴在步骤6中获取的位置上。这样，就获得了一幅模拟的异常图像，完成了数据增强。具体的，泊松图像融合算法将前景图像与背景图像进行无缝融合，使得结果图像既具有前景的外观，又具有背景的纹理和颜色。该算法的基本原理是，新图像中每个像素的值应等于前景图像的值加上背景图像中相应像素的值之差，而这个差异值应以一种平滑的方式在整个图像中传播。本研究中，泊松融合的前景图像与背景图像分别对应于数据增强中的图像块与被粘贴的原图像。泊松方程的一般形式如公式(11)所示：
[0028][0029]其中，f表示原图像中的像素值，f(x，y)表示图像块中的像素值，和分别表示z和f的梯度。原图像中的像素值通过对图像块中的像素值进行加权平均得到，权重由w1(x，y)决定，如公式(12)所示：
[0030][0031]其中，g(x，y)表示泊松方程的解：
[0032][0033]通过求解泊松方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大律算法与通道注意力机制的数据增强方法，其特征包括如下步骤：步骤1：建立异常检测数据集，该数据集应包括验证集和训练集两个部分；其中，训练集仅包含正常无缺陷的样本，验证集则包含正常样本和异常样本两类，在处理异常样本时，不应进行类别的区分。步骤2：对训练集中的样本进行预处理。首先，将所有图像统一调整为256
×
256像素大小，接着，进行图像归一化处理，使得所有图像的均值为[0.485,0.456,0.406]，标准差为[0.229,0.224,0.225]；步骤3：读取数据集中的图像，并使用大律算法(OTSU)计算每张图像的灰度直方图。通过选取最佳阈值，将图像分为前景图像和背景图像。步骤4：使用步骤3中获得的最佳阈值，对图像进行二值化阈值分割。将前景图像设为白色，背景图像设为黑色，从而获得二值化掩码。步骤5：将二值化掩码图像表示为矩阵M，该矩阵中只有0和1两个值，其中0代表图像中黑色像素点，1表示图像中白色像素点；步骤6：将所有矩阵M中值为1的像素点表示为一个数组IDX，在进行数据增强的过程中，应随机选取该数组中IDX中的某个元素作为数据增强的位置，从而确保其在前景图像内部而不在背景图像中，避免污染数据生成。步骤7：随机获取原图像的一个位置，并裁剪一个随机大小、宽长比的矩形图像块。接着，旋转该图像块随机的角度并施加一定的颜色抖动。步骤8：使用泊松图像融合算法，将步骤7中获得的图像块无缝地粘贴在步骤6中获取的位置上。这样，就获得了一幅模拟的异常图像，完成了数据增强。步骤9：将生成的模拟图像与正常样本图像一起送入神经网络进行训练。为了提取特征，我们使用了ResNet18作为主干网络，并对图像进行图像级的数据标注，即正常样本标注为1，模拟的异常样本标注为0。为了加速训练过程，我们使用了预训练模型，并冻结了前20个epoch。步骤10：结合自注意力机制的神经网络：引入自注意力机制的神经网络。该网络包含ResNet18主干神经网络和SENet自注意力机制模块。ResNet18神经网络包含1个卷积层、1个最大池化层、4个残差块、1个平均池化层和1个全连接层。SENet注意力机制包含Squeeze模块和Excitation模块。假设给定了图像的特征张量其中X使通道数量，H和W是空间维度。首先通过对X进行全局平均池化得到通道维度上的平均特征向量V：其中j＝1,2,...,C。然后通过两个全连接层得到通道维度上的特征权重向量w2＝σ(Uδ(Wz)) (2)其中和是两个权重矩阵，δ(
·
)和σ(
·
)分别表示激活函数和sigmoid函数，最后通过权重向量w2应用于输入特征张量X来获得自注意力特征：Y
jik
＝w
j
X
jik
ꢀꢀꢀ
(3)其中j＝1,2,...,C。最终将自注意力特征Y与原始特征X按元素相加得到最终的输出特
征。该自注意力模块在ResNet18神经网络的第四个残差块提取特征后插放；步骤11：通过神经网络训练得到特征提取模型...

【专利技术属性】
技术研发人员：王正松，杨文翰，汤晟楠，杨乐，
申请(专利权)人：东北大学秦皇岛分校，
类型：发明
国别省市：