一种基于生成对抗网络的布匹瑕疵数据增强方法技术

本发明专利技术涉及一种基于生成对抗网络的布匹瑕疵数据增强方法，搭建生成对抗网络并训练后，对于输入的待数据增强的有瑕疵布匹图像，以多层卷积和实例正则化进行多尺度特征提取与风格编码，以空间自适应归一化构建上采样卷积模块，以并行的2个卷积支路解耦网络任务，分别对应瑕疵前景和瑕疵透明度的生成，配合透明度控制、瑕疵形态与空间约束，最终得到数据增强后的有瑕疵布匹图片。本发明专利技术针对现有数据集进行数据增强，通过平衡样本类别数量和扩充瑕疵样本来提升布匹瑕疵检测器的性能，也可以针对无瑕疵新布匹进行瑕疵叠加，快速生成足量新背景下的瑕疵数据集。背景下的瑕疵数据集。背景下的瑕疵数据集。

【技术实现步骤摘要】
Synthesis and Semantic Manipulation with Conditional GANs[J].IEEE International Conference on Computer Vision and Pattern Recognition,2018,8798
‑
8807.)，对Cityspace数据集设计了一个端到端数据增强方案(见Liu S,Zhang J,Chen Y,et al.Pixel Level Data Augmentation for Semantic Image Segmentation using Generative Adversarial Networks[J].IEEE International Conference on Acoustics,Speech and Signal Processing,2019:1902
‑
1906.)。此方案相对于传统的数据增强方案，将PSPNet在Cityspace19类语义分割任务的mIoU上进一步获得了2.1％的提升。Zhang等人提出了一个瑕疵合成框架Defect
‑
GAN(见Zhang G,Cui K,Hung TY,et al.Defect
‑
GAN:High
‑
Fidelity Defect Synthesis for Automated Defect Inspection[J].IEEE Winter Conference on Applications of Computer,2021:2523
‑
2533)，在CODEBRIM混凝土瑕疵数据集上获得了较好的视觉效果，同时将ResNet34和DenseNet152作混凝土瑕疵检测器，使用Defect GAN进行数据增强后两者准确度均有显著的提升。
[0006]现有的数据增强算法，无论是基于传统方式还是深度学习方式，均不适合直接用于布匹瑕疵数据增强，主要存在几个方面的问题：(1)传统数据增强方法无法直接将现有的瑕疵样本库快速将瑕疵叠加到新布匹上。(2)布匹瑕疵数量较少，属于小样本学习问题，训练GAN网络本身需要较大的样本库支持。(3)数据增强往往是针对布匹的某块区域进行瑕疵叠加，因此要求数据增强区域部分和整个布匹图像之间过渡平滑，如果瑕疵叠加不够自然，反而会降低检测器的性能。

技术实现思路

[0007]本专利技术解决了现有技术中存在的问题，提供了一种优化的基于生成对抗网络的布匹瑕疵数据增强方法。
[0008]本专利技术所采用的技术方案是，一种基于生成对抗网络的布匹瑕疵数据增强方法，所述方法搭建生成对抗网络并训练后，对于输入的待数据增强的有瑕疵布匹图像，以多层卷积和实例正则化进行多尺度特征提取与风格编码，以空间自适应归一化构建上采样卷积模块，以并行的2个卷积支路解耦网络任务，分别对应瑕疵前景和瑕疵透明度的生成，配合透明度控制、瑕疵形态与空间约束，最终得到数据增强后的有瑕疵布匹图片。
[0009]优选地，所述所搭建的生成对抗网络包括：
[0010]一个特征编码模块，用于在降采样过程中提取不同分辨率的特征图，并将图像特征进行编码，得到表示图像风格的均值μ和方差σ2；
[0011]一个瑕疵生成模块，用于将从图像风格均值μ与方差σ2采样得到的风格噪声进行上采样，并在上采样过程中不间断引入特征编码模块提取的特征图，得到合成的瑕疵样本；
[0012]一个鉴别器模块，用于判断输入样本是真实瑕疵样本还是合成瑕疵样本，在模型迭代训练过程中引导瑕疵生成模块合成瑕疵样本，使得合成瑕疵样本在图像真实性和清晰度上均与真实瑕疵样本接近。
[0013]优选地，所述特征编码模块包括5个卷积块和2个全连接层；
[0014]任一卷积块包括标准3
×
3卷积层、实例归一化层和泄漏线性激活函数层；
[0015]5个卷积块分别输出五个不同分辨率下的特征图F0、F1、F2、F3和F4，同时将F4输入到两个并行的256维全连接层，分别计算出图像风格均值向量μ和方差向量σ2，并对μ和σ2进行
单次高斯采样得到风格噪声z。
[0016]本专利技术中，特征编码模块将无瑕疵布匹样本作为输入，由五个卷积块和两个全连接层组成，其中卷积块用于提取特征信息与降采样，每个卷积块由标准3
×
3卷积Conv、实例归一化InstanceNorm和泄漏线性激活函数LeakyReLU三部分组成；第一个Conv层的步长为1，零值填充为1，其余四个Conv层的步长为2，零值填充为2，以实现下采样功能，获得不同分辨率下的特征图；Instance Normalize可以针对单张图像实例进行归一化操作，保证了各个图像实例之间的独立性，且保留了图像实例的风格，在图像合成任务中比Batch Normalize更合适；LeakyReLU和ReLU相似，为网络引入了稀疏性，提高计算性能。此外由于LeakyReLU在激活值为负的情况下，仍然有微小的梯度，这可以避免神经元“死亡”问题，加速网络收敛。
[0017]本专利技术中，经过特征编码模块后，从五个卷积块的输出端可以得到五个不同分辨率下的特征图F0、F1、F2、F3和F4。其中F0分辨率与输入图像一致，有最丰富的纹理特征信息，F1、F2、F3和F4的长宽分别为输入图像的1/2、1/4、1/8和1/16。此外，F4包含了高维语义信息，还需将其输入到两个并行的256维全连接层，分别计算出图像风格均值μ和方差σ2，并对均值μ和方差σ2采样得到风格噪声z。
[0018]优选地，所述瑕疵生成模块包括并列的瑕疵前景生成支路和瑕疵透明度生成支路；
[0019]所述瑕疵前景生成支路包括全连接层及6个上采样模块，每个上采样模块的输入输出间设有残差连接层，输入风格噪声z经过全连接层后得到的投影噪声z
project
，经过6个上采样模块后得到高分辨率特征图，经过Tanh激活函数输出前景图O
forge
；
[0020]所述瑕疵透明度生成支路包括全连接层及6个上采样模块，每个上采样模块的输入和输出间设有残差连接层，输入标准正态分布噪声z
noise
，经过6个上采样模块后得到高分辨率特征图，经过Sigmoid激活函数输出透明度图像O
alpha
；
[0021]得到S
defect
＝S
normal
·
(1
‑
O
alpha
)+O
forge
·
O
alpha
，其中，S
defect
为合成瑕疵图，S
normal
为特征编码模块的输入无瑕疵样本，O
forge
为瑕疵前景生成支路的输出，O
alpha
为瑕疵透明度生成支路的输出。
[0022]优选地，所述上采样模块包括由两个串联本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的布匹瑕疵数据增强方法，其特征在于：所述方法搭建生成对抗网络并训练后，对于输入的待数据增强的有瑕疵布匹图像，以多层卷积和实例正则化进行多尺度特征提取与风格编码，以空间自适应归一化构建上采样卷积模块，以并行的2个卷积支路解耦网络任务，分别对应瑕疵前景和瑕疵透明度的生成，配合透明度控制、瑕疵形态与空间约束，最终得到数据增强后的有瑕疵布匹图片。2.根据权利要求1所述的一种基于生成对抗网络的布匹瑕疵数据增强方法，其特征在于：所述所搭建的生成对抗网络包括：一个特征编码模块，用于在降采样过程中提取不同分辨率的特征图，并将图像特征进行编码，得到表示图像风格的均值μ和方差σ2；一个瑕疵生成模块，用于将从图像风格均值μ与方差σ2采样得到的风格噪声进行上采样，并在上采样过程中不间断引入特征编码模块提取的特征图，得到合成的瑕疵样本；一个鉴别器模块，用于判断输入样本是真实瑕疵样本还是合成瑕疵样本，在模型迭代训练过程中引导瑕疵生成模块合成瑕疵样本。3.根据权利要求2所述的一种基于生成对抗网络的布匹瑕疵数据增强方法，其特征在于：所述特征编码模块包括5个卷积块和2个全连接层；任一卷积块包括标准3
×
3卷积层、实例归一化层和泄漏线性激活函数层；5个卷积块分别输出五个不同分辨率下的特征图F0、F1、F2、F3和F4，同时将F4输入到两个并行的256维全连接层，分别计算出图像风格均值向量μ和方差向量σ2，并对μ和σ2进行单次高斯采样得到风格噪声z。4.根据权利要求3所述的一种基于生成对抗网络的布匹瑕疵数据增强方法，其特征在于：所述瑕疵生成模块包括并列的瑕疵前景生成支路和瑕疵透明度生成支路；所述瑕疵前景生成支路包括全连接层及6个上采样模块，每个上采样模块的输入输出间设有残差连接层，输入风格噪声z经过全连接层后得到的投影噪声z
project
，经过6个上采样模块后得到高分辨率特征图，经过Tanh激活函数输出前景图O
forge
；所述瑕疵透明度生成支路包括全连接层及6个上采样模块，每个上采样模块的输入和输出间设有残差连接层，输入标准正态分布噪声z
noise
，经过6个上采样模块后得到高分辨率特征图，经过Sigmoid激活函数输出透明度图像O
alpha
；得到S
defect
＝S
normal
·
(1
‑
O
alpha
)+O
forge
·
O
alpha
，其中，S
defect
为合成瑕疵图，S
normal
为特征编码模块的输入无瑕疵样本，O
forge
为瑕疵前景生成支路的输出，O
alpha
为瑕疵透明度生成支路的输出。5.根据权利要求4所述的一种基于生成对抗网络的布匹瑕疵数据增强方法，其特征在于：所述上采样模块包括由两个串联的卷积块构成，每个卷积块包括依次设置的SPADE层、非线性激活函数ReLU和标准3
×
3卷积。6.根据权利要求3所述的一种基于生成对抗网络的布匹瑕疵数据增强方法，其特征在于：所述瑕疵生成模块的输入包括由特征编码模块得到的256维风格噪声z、特征编码模块中间层输出的特征图F0、F1、F2、F3和F4及从预设瑕疵样本库中随机采样得到的瑕疵掩膜图M；将由风格噪声z输入对应的全连接层得到...

【专利技术属性】
技术研发人员：朱威，徐希舟，张佳伟，郑雅羽，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：