【技术实现步骤摘要】
本专利技术涉及图像生成，特别是涉及一种缺陷图像生成方法和装置。
技术介绍
1、随着智能技术的发展，工业生产逐渐数字化，机器视觉技术在生产流程中的应用越来越广泛。机器视觉的智能检测方法指的是采用经过训练后的网络模型来识别出缺陷产品。但是缺陷数据在实际工业生产中变得稀缺，尤其是各类缺陷的不均衡分布问题使得模型训练更加困难。工业生产中缺陷产品较少，获取有缺陷的图片和标签耗时耗力，导致训练数据匮乏。目前，传统的方法如数据增强、手动销毁工件等操作存在局限性，无法生成足够多样的缺陷数据；利用生成对抗网络合成缺陷样本的方式存在所生成的缺陷区域缺乏纹理信息、背景多样性不足、缺陷区域与整幅图像不协调等问题。
2、鉴于此，克服该现有技术所存在的缺陷是本
亟待解决的问题。
技术实现思路
1、本专利技术要解决的技术问题是如何提升生成的缺陷图像的丰富度以及真实性。
2、本专利技术采用如下技术方案：
3、第一方面，提供了一种缺陷图像生成方法，包括：
4、对原始图像进行预处理，以得到缺陷图像、掩码图像以及文本描述；
5、构建第一网络模型，根据所述缺陷图像、掩码图像以及文本描述对所述第一网络模型进行训练；
6、构建第二网络模型，根据由所述原始图像所划分出的缺陷图像和无缺陷图像训练所述第二网络模型；
7、通过训练后的第二网络模型在基准图像上获取有可能存在缺陷的目标定位，通过训练后的第一网络模型在所述目标定位上生成缺陷，以得到目
8、优选的，所述对原始图像进行预处理，以得到缺陷图像、掩码图像以及文本描述包括：
9、将所述原始图像中包括缺陷的区域随机裁剪至目标大小，以得到所述缺陷图像；
10、对所述缺陷图像中缺陷所处的位置进行掩码操作，以得到所述掩码图像；
11、对所述缺陷图像中缺陷的类型进行整理以得到所述文本描述。
12、优选的，所述对所述缺陷图像中缺陷所处的位置进行掩码操作，以得到所述掩码图像包括：
13、确定每个缺陷部分在所述缺陷图像中的位置；
14、根据每个缺陷部分的位置生成与所述缺陷图像大小相同的掩码图像，其中，在所述掩码图像中，缺陷部分用一个特定的像素值表示，非缺陷部分则用另一个像素值表示。
15、优选的，所述构建第一网络模型，根据所述缺陷图像、掩码图像以及文本描述对所述第一网络模型进行训练包括：
16、将所述缺陷图像、对应的掩码图像和文本描述输入所述第一网络模型；
17、将所述文本描述提供给所述第一网络模型作为生成缺陷的指导，所述掩码图像用于指导生成缺陷的位置，所述第一网络模型根据所述掩码图像以及文本描述在相应的位置生成缺陷；
18、通过损失函数计算所述第一网络模型生成的缺陷与缺陷图像中的原缺陷之间的差异；
19、根据损失函数的结果，调整所述第一网络模型的权重和偏置，以减小所述第一网络模型生成的缺陷和缺陷图像中的原缺陷之间的差异。
20、优选的，所述构建第二网络模型，根据由所述原始图像所划分出的缺陷图像和无缺陷图像训练所述第二网络模型包括：
21、将所述原始图像平铺裁剪至目标大小，以划分出带有缺陷的缺陷图像和不带有缺陷的无缺陷图像；
22、对所述缺陷图像进行标注，对带有缺陷的缺陷图像标注缺陷类型以及对应的位置信息；在不带有缺陷的无缺陷图像上标注可能生成缺陷的缺陷类型以及对应的位置信息；
23、通过缺陷的缺陷类型以及对应的位置信息对所述第二网络模型进行训练，以使所述第二网络模型学习不同缺陷可能发生的位置。
24、优选的，所述通过缺陷的缺陷类型以及对应的位置信息对所述第二网络模型进行训练，以使所述第二网络模型学习不同缺陷可能发生的位置包括：
25、每次迭代训练开始时，缺陷图像通过网络进行前向传播，并获取所述缺陷图像中的特征图；
26、通过滑动窗口在所述特征图上生成多个锚点框，预测锚点框内是否存在缺陷以及缺陷的具体类型；
27、输出每个锚点框的分类概率和位置信息，根据所述分类概率得到分类损失，根据所述位置信息得到定位损失，根据分类损失和定位损失得到总损失；
28、根据所述总损失计算梯度，并通过优化算法更新第二网络模型的权重，以使所述第二网络模型预测出不同缺陷可能发生的位置。
29、优选的，所述通过训练后的第二网络模型在基准图像上获取有可能存在缺陷的目标定位，通过训练后的第一网络模型在所述目标定位上生成缺陷，以得到目标缺陷图像包括：
30、通过训练后的第二网络模型输出一系列候选框，每个候选框都有关联的分类概率和位置信息；
31、使用非极大值抑制来选择最佳的候选框，通过比较重叠的候选框的分类概率，保留最高概率的候选框作为所述目标定位；
32、通过训练后的第一网络模型在所述目标定位上生成相应的缺陷。
33、优选的，所述原始图像的获取包括：
34、获取包括至少一种缺陷类型的产品图像作为所述原始图像；
35、其中，缺陷类型包括短路、开路、锡珠、错位、漏孔以及多余材料中的一种或多种。
36、优选的，所述缺陷图像生成方法还包括：
37、当需要在所述基准图像上生成指定缺陷时，通过训练后的第二网络模型在所述基准图像上预测指定缺陷可能存在的位置作为所述目标定位；
38、通过训练后的第一网络模型在所述目标定位上生成所述指定缺陷。
39、第二方面，一种缺陷图像生成装置，所述缺陷图像生成装置包括：处理器和用于存储处理器可执行指令的存储器；
40、其中，所述处理器被配置为执行所述的缺陷图像生成方法。
41、与现有技术相比，本专利技术的有益效果在于：
42、本专利技术通过掩码图像和文本描述对缺陷的生成进行引导，有助于第一网络模型学习缺陷位置的细节特征，这种引导方式在生成缺陷时起到指导作用，提高了第一网络模型所生成的缺陷的真实性；通过缺陷图像生成指定的缺陷细节，使得用户能够在前端决定生成的缺陷的位置、类型以及形状等细节。这种方法赋予了用户很大的自主性，可以生成更多包含不同细节、不同位置以及不同类别缺陷的图片，增加了数据集的丰富度，使得应用场景更加广阔。
43、其次，本专利技术采用第二网络模型对基准图像中可能发生缺陷的位置进行预测。通过第一网络模型在符合场景及结构的位置合理生成缺陷，提高了生成的缺陷图像的现实逻辑性，并且在视觉上缺陷区域不会显得突兀，边缘更真实，能够平滑过渡到无缺陷背景上。
本文档来自技高网...【技术保护点】
1.一种缺陷图像生成方法，其特征在于，包括：
2.根据权利要求1所述的缺陷图像生成方法，其特征在于，所述对原始图像进行预处理，以得到缺陷图像、掩码图像以及文本描述包括：
3.根据权利要求2所述的缺陷图像生成方法，其特征在于，所述对所述缺陷图像中缺陷所处的位置进行掩码操作，以得到所述掩码图像包括：
4.根据权利要求1所述的缺陷图像生成方法，其特征在于，所述构建第一网络模型，根据所述缺陷图像、掩码图像以及文本描述对所述第一网络模型进行训练包括：
5.根据权利要求1所述的缺陷图像生成方法，其特征在于，所述构建第二网络模型，根据由所述原始图像所划分出的缺陷图像和无缺陷图像训练所述第二网络模型包括：
6.根据权利要求5所述的缺陷图像生成方法，其特征在于，所述通过缺陷的缺陷类型以及对应的位置信息对所述第二网络模型进行训练，以使所述第二网络模型学习不同缺陷可能发生的位置包括：
7.根据权利要求1所述的缺陷图像生成方法，其特征在于，所述通过训练后的第二网络模型在基准图像上获取有可能存在缺陷的目标定位，通过训练后的第一网络模型
8.根据权利要求1所述的缺陷图像生成方法，其特征在于，所述原始图像的获取包括：
9.根据权利要求1所述的缺陷图像生成方法，其特征在于，所述缺陷图像生成方法还包括：
10.一种缺陷图像生成装置，其特征在于，所述缺陷图像生成装置包括：处理器和用于存储处理器可执行指令的存储器；
...【技术特征摘要】
1.一种缺陷图像生成方法，其特征在于，包括：
2.根据权利要求1所述的缺陷图像生成方法，其特征在于，所述对原始图像进行预处理，以得到缺陷图像、掩码图像以及文本描述包括：
3.根据权利要求2所述的缺陷图像生成方法，其特征在于，所述对所述缺陷图像中缺陷所处的位置进行掩码操作，以得到所述掩码图像包括：
4.根据权利要求1所述的缺陷图像生成方法，其特征在于，所述构建第一网络模型，根据所述缺陷图像、掩码图像以及文本描述对所述第一网络模型进行训练包括：
5.根据权利要求1所述的缺陷图像生成方法，其特征在于，所述构建第二网络模型，根据由所述原始图像所划分出的缺陷图像和无缺陷图像训练所述第二网络模型包括：
6.根据权利要求5所...
【专利技术属性】
技术研发人员：韦耿，王婷，李华玉，裴氏莺，曾倩，陈梦诗，腾春乐，
申请(专利权)人：南宁师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。