基于风格迁移的生成对抗网络的管道病害图像数据增强方法技术

本发明专利技术涉及深度学习与传统管道检测的交叉学科领域，提供了一种基于风格迁移的生成对抗网络的管道病害图像数据增强方法。该方法包括以下步骤：获取管道内表面病害图像数据集；风格迁移的生成对抗网络模型训练；风格迁移的生成对抗网络模型调参；风格迁移的生成对抗网络模型测试；构建管道病害数据库。通过上述方式，研发了适用于管道内表面病害特征的图像生成算法，具有适用范围广、鲁棒性好和泛化能力强的优点；实现了管道病害图像的大规模生成，解决了管道病害数据量少的问题。解决了管道病害数据量少的问题。解决了管道病害数据量少的问题。

【技术实现步骤摘要】
基于风格迁移的生成对抗网络的管道病害图像数据增强方法


[0001]本专利技术涉及深度学习与传统管道检测的交叉学科领域，尤其涉及一种管道病害自动生成方法，特别是一种基于风格迁移的生成对抗网络的管道病害图像数据增强方法。

技术介绍

[0002]城市地下管道广泛应用于供暖、供水和排污等领域。随着我国城市化进程不断发展，地下水位变化和各种工程建设引起的不均匀沉降对管道造成不同程度的损伤。并且随着服役年龄的增加，管道密封材料老化或脱落造成接口处泄露。由此引发周围土壤，生活用水和城市空气的污染，进而引发一系列安全问题。因此，应当按时检测管道，为城市污水管道的修复和维护提供规划和决策帮助。
[0003]随着大数据的到来，基于深度学习的计算机视觉技术不断发展，大量研究采用基于深度学习的方法检测管道病害。但是，深度学习算法需要大量管道病害数据训练网络。数据集图像的数量往往决定了检测网络的准确度和泛化能力。但是，由于管道环境复杂，现有的管道内表面病害图像难以采集。
[0004]有鉴于此，有必要提供一种基于风格迁移的生成对抗网络的管道病害图像数据增强方法。

技术实现思路

[0005]针对地下管道内部环境复杂、多种类管道病害的特点，为了解决管道病害图像数据量少的问题，本专利技术提供了一种基于风格迁移的生成对抗网络的管道病害图像数据增强方法，该方法建立管道内表面病害生成网络和辨别网络，具有生成图像辨识度高，泛化能力强，鲁棒性好的特点。
[0006]为了实现上述目的，本专利技术采用了如下的技术方案：/>[0007]本专利技术提供了一种基于风格迁移的生成对抗网络的管道病害图像数据增强方法，包括以下步骤：
[0008]S1，获取管道内表面病害图像数据集；
[0009]采集管道病害图像，挑选含有各类病害的图像，统一病害图像尺寸，建立原始的管道病害数据库；
[0010]S2，风格迁移的生成对抗网络模型训练；
[0011]搭载基于风格迁移的生成对抗网络模型，使用迁移学习方法进行模型初始化，将原始的管道病害数据库图像导入模型，进行模型的训练；
[0012]S3，风格迁移的生成对抗网络模型调参；
[0013]设置不同的超参数，对比模型训练过程中损失函数变化曲线，寻找最优超参数；
[0014]S4，风格迁移的生成对抗网络模型测试；
[0015]根据得到的最优模型，对模型进行测试，输出各项检测数值指标，判断是否达到预期值；若达到预期值，则执行步骤S5；若未达到预期值，则执行步骤S3；
[0016]S5，构建目标管道病害数据库；
[0017]通过随机噪点生成管道病害图像，以检测数值指标的预期值为标准对管道病害图像的清晰度和辨识度进行判断；采用数据扩增的方法对达到预期值指标的管道病害图像后处理，最终得到不同类别的管道病害数据集，整合得到目标管道病害数据库。
[0018]其中，所述步骤S1包括以下步骤：
[0019]S11，管道内表面病害图像采集方法为：通过控制管道CCTV机器人，在实际管道内采集管道内表面病害图像；
[0020]S12，由专业人员挑选病害图像；
[0021]S13，对病害图像进行分类，得到原始的管道病害数据库；
[0022]进一步地，所述步骤S13中的病害包括错口、破漏、腐蚀以及障碍物。
[0023]其中，所述步骤S2包括以下步骤：
[0024]S21，搭载基于英伟达GPU的CUDA和CUDNN，配置Python及相应的Tensorflow、keras等API库的环境；
[0025]S22，构建基于风格迁移的风格迁移的生成对抗网络模型，该模型包括生成网络和辨别网络两部分；
[0026]S23，使用小批量梯度下降的方法对设计的卷积神经网络进行训练，观察损失值函数图像，达到平稳时即模型收敛，此时停止训练。
[0027]具体地，风格迁移的生成对抗网络包括两套独立的网络(生成网络和辨别网络)，两者之间作为互相对抗的目标。辨别网络(图2中的辨别器)用于分辨是真实数据还是虚假数据；生成网络(图2中的生成器)用于生成类似于真实样本的随机样本，并将其作为假样本。
[0028]具体地，在训练过程中，生成网络的目标是尽量生成真实的图片去欺骗辨别网络。而辨别网络的目标就是尽量把生成网络生成的图片和真实的图片区分开来。这样，生成网络和辨别网络构成了一个动态的“博弈过程”。最终，两个网络达到纳什均衡。
[0029]具体地，为了更好地对数据进行分类或生成，需要对数据的特征进行表示。管道病害包含很多特征，这些特征之间相互关联，耦合性较高，导致生成模型很难弄清楚它们之间的关联，学习效率低下。因此需要寻找到这些表面特征之下隐藏的深层次的关系，将这些关系进行解耦，得到的隐藏特征。本模型采用风格迁移的方法，以深度学习网络作为生成网络。其中，生成网络主要包括映射网络(mappingnetwork)及样式模块(stylemodules，AdaIN，自适应实例归一化)。在训练过程中，生成网络不直接从随机掩码z生成图像，而是通过映射网络将随机掩码z编码为中间映射掩码w，而映射掩码w的不同元素控制不同的视觉特征，基于此可将特征分离，生成清晰的图像。
[0030]其中，所述步骤S3中调整的主要超参数包括学习率、总迭代次数、小批量图像数量以及动量系数，其调整的主要依据为：设置不同超参数时，模型生成图像的损失值下降曲线的平稳度和收敛性。
[0031]其中，所述步骤S4中的检测数值指标主要包括FID分数、感知路径长度以及线性可分性。
[0032]其中，所述步骤S5中数据增强的主要方法包括尺度缩放、对称变换、模糊处理、平移变换、对比度调整、饱和度调整、锐度处理以及高斯噪声处理。
[0033]进一步地，所述步骤S5中使用Python分类程序将道路病害图像数据库按6：2：2的比例分为训练集、验证集以及测试集，得到不同类别的管道病害数据集，最终整合成目标管道病害数据库。
[0034]相较于现有技术，本专利技术提供的一种基于风格迁移的生成对抗网络的管道病害图像数据增强方法，具有以下有益效果：
[0035]本专利技术通过构建基于风格迁移的网络对抗模型，提高了生成图像的清晰度和辨识度；通过风格迁移的方法对大量管道内表面病害学习，提高了模型的泛化能力和鲁棒性；通过随机噪点向量，生成了多种类管道病害图像；本专利技术的生成对抗网络包括相互独立的生成网络和辨别网络，两者之间作为互相对抗的目标，在训练过程中，生成网络不直接从随机掩码z生成图像，而是采用映射网络(mappingnetwork)，由随机掩码z生成中间映射掩码w，而映射掩码w的不同元素控制不同的视觉特征，从而将特征分离，控制生成图像的风格，提高了FID分数，生成清晰的图像。
附图说明
[0036]图1是本专利技术的基于风格迁移的生成对抗网络的管道病害图像数据增强方法的流程图；
[0037]图2是本专利技术的基于风格迁移的生成对抗网络的管道病害图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于风格迁移的生成对抗网络的管道病害图像数据增强方法，其特征在于，包括以下步骤：S1，获取管道内表面病害图像数据集；采集管道病害图像，挑选含有各类病害的图像，统一病害图像尺寸，建立原始的管道病害数据库；S2，风格迁移的生成对抗网络模型训练；搭载基于风格迁移的生成对抗网络模型，使用迁移学习法进行模型初始化，将原始的管道病害数据库图像导入模型，进行模型的训练；S3，风格迁移的生成对抗网络模型调参；设置不同的超参数，对比模型训练过程中损失函数变化曲线，寻找最优超参数；S4，风格迁移的生成对抗网络模型测试；根据得到的最优模型，对模型进行测试，输出各项检测数值指标，判断是否达到预期值；若达到预期值，则执行步骤S5；若未达到预期值，则执行步骤S3；S5，构建目标管道病害数据库。2.根据权利要求1所述的基于风格迁移的生成对抗网络的管道病害图像数据增强方法，其特征在于，所述步骤S2包括以下步骤：S21，搭载基于英伟达GPU的CUDA和CUDNN，配置Python及相应的API库的环境；S22，构建基于风格迁移的生成对抗网络模型，所述生成对抗网络模型包括生成网络和辨别网络；S23，使用小批量梯度下降的方法对生成对抗网络模型中的卷积神经网络进行训练，观察损失值函数图像，达到平稳时即模型收敛，此时停止训练。3.根据权利要求1所述的基于风格迁移的生成对抗网络的管道病害图像数据增强方法，其特征在于，所述步骤S3中调整超参数的依据为：设置不同超参数时，模型生成图像的损失值下降曲线的平稳度和收敛性。4.根据权利要求3所述的基于风格迁移的生成对抗网络的管道病害图像数据增强方法，其特征在于，所述步骤S3中调整的超参数包括学习率、总迭代次数、小批量图像数量以及动量系数。5.根据权利要求1所述的基于...

【专利技术属性】
技术研发人员：方宏远，王念念，马铎，
申请(专利权)人：郑州大学，
类型：发明
国别省市：