基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法技术

本发明专利技术提供一种基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法，涉及计算机视觉技术领域。该方法首先通过边缘提取以及修复算法获得标记缺失区域的纹理图像，然后再构建纹理内容生成器和纹理内容判别器从而生成基于对抗网络的纹理追溯模型，再将标记缺失区域的纹理图像、完整的特征轮廓图像和Mask图像作为训练数据集对纹理追溯模型进行训练，最后利用训练好的纹理追溯模型进行缺失纹理的追溯。该方法主要分为网络训练过程以及追溯过程两部分，更具体的本发明专利技术方法可对纹理缺失图像进行有效的纹理追溯，为后续的微观纹理分析打下了良好的基础，具有很高的实用性。具有很高的实用性。具有很高的实用性。

【技术实现步骤摘要】
基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法。

技术介绍

[0002]在现代机械装备的运行和维护中，对于机械装备可靠性和安全性的评估与预测至关重要。尤其是在恶劣的环境中运行，对于该装备各部件的疲劳强度，运行性能是一种极大的考验。随着时间的推移，机械装备各部件在服役过程中难免会出现缺陷甚至失效，若无法了解部件材料服役过程中的失效规律，采取应对的方法，就会造成巨大的时间损失以及经济损失。
[0003]而疲劳断裂作为结构零件失效的主要形式，绝大多数结构部件失效导致的重大事故都与疲劳断裂有关。因此，对于疲劳及疲劳断裂失效分析的研究是极其重要的。而疲劳断裂中一大重要微观“物证”便是疲劳断裂断口，对于失效断口进行深入分析是研究失效历程和失效机理的一大重要手段。但在实际研究过程中，对于断口图像中纹理的采集往往会出现各种问题，由于断口本身受环境影响出现腐蚀或者氧化，导致断口图像中的纹理特征并不明显；另一方面裂纹的纹理特征表现为精细化、复杂化、不规则，微观成像技术难以呈现细微纹理的全貌；在采集断口图像过程中，由于成像亮度过高也会出现纹理特征被光影覆盖的情况。上述原因均会导致断口信息缺失的后果，对后续的特征研究带来不良影响。因此有必要采用新理论、新方法对微观尺度裂纹扩展过程中的缺失信息进行追溯，为后续的断口分析和失效过程的研究打下坚实的基础。
[0004]图像缺失纹理信息的追溯问题是基于图像中已有信息，去还原图像中的缺失部分。图像修复领域的相关研究最初是为解决去除遮挡或对破损的图像进行纹理追溯，然而这却是一个“病态”问题，图像修复过程需要一些前提假设，通过一定的约束条件，建立最优准则，实现图像缺失纹理追溯。
[0005]如何追溯裂纹扩展历程的缺失信息，实现对失效缘由和失效机理的准确认知，是失效分析领域遇到的新问题与新挑战。深度学习理论作为模式识别和机器学习领域最新的研究成果，以其强大的建模和表征能力，正在席卷整个图形学研究领域。当传统物理模型发展遇到瓶颈的时候，深度学习理论方法能够解释复杂的数理模型，认识失效断口特征纹理的深层结构，指导缺失信息的生成与处理，为裂纹扩展历程智能追溯的实现提供行之有效的科学方法。
[0006]然而，微观尺度断口中裂纹扩展历程缺失信息智能追溯的难点在于对精细纹理的追溯质量要求。目前，研究人员已经开发的图像修复模型对精细纹理的修复能力有限，采用单一或者少量损失函数来建立修复模型难以精确地复原断口图像中裂纹扩展缺失信息的细节纹理。因此，研究多尺度特征提取对细节纹理追溯的优化特性，建立多损失“博弈”机制的纹理智能追溯模型，深度学习裂纹扩展历程的纹理特征，指导缺失信息的重建，是实现裂纹扩展历程复杂缺失纹理智能追溯的科学方法。现有的图像修复模型难以解决裂纹追溯过
程中对精细纹理的质量要求问题，多尺度、多损失的模型结构尚不成熟，难以实现智能化、精确化追溯目标。

技术实现思路

[0007]本专利技术要解决的技术问题是针对上述现有技术的不足，提供一种基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法，实现对裂纹扩展历程中复杂缺失纹理的追溯。
[0008]为解决上述技术问题，本专利技术所采取的技术方案是：基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法，包括以下步骤：
[0009]步骤1：利用边缘提取算法提取裂纹扩展历程的微观纹理图像特征轮廓；
[0010]步骤1.1：用边缘算子提取出微观纹理图像中反映灰度变化的边缘点集合；
[0011]步骤1.2：在边缘点集合中剔除灰度值偏差大于设定阈值的像素点，并填补缺失像素值的边界间断点，将最终处理好的边缘点连接成完整的线，得到裂纹扩展历程的微观纹理图像特征轮廓；
[0012]步骤2：利用Mask数据集中的不同Mask图像，在原始纹理图像上和特征轮廓上获取带缺失区域标记的纹理图像和特征轮廓；再利用边缘修复算法对带缺失区域标记的纹理图像和特征轮廓的缺失区域进行边缘修复，获取完整的扩展特征轮廓；所述Mask数据集包含不规则Mask图像和规则的方形Mask图像；
[0013]步骤3：搭建基于生成对抗网络的纹理追溯模型；
[0014]所述基于生成对抗网络的纹理追溯模型包括纹理内容生成器和纹理内容判别器两个部分；
[0015]所述纹理内容生成器通过多尺度的编码器与解码器建立，首先根据特征图像分辨率的大小依次设置多个预测分支，每个分支去单独预测不同尺度的目标特征；对于用于预测分辨率大于设定阈值的预测分支，根据实际网络参数采用卷积通道进行处理，对于用于预测分辨率小于等于设定阈值的预测分支，由调参结果采用卷积通道进行处理，并根据形成的新通道信息构建多分支结构的蒸馏模型；然后通过高斯卷积核、带孔卷积、池化策略来控制感受野；采用初始纹理生成弱标记、阶段纹理生成标记和精细化纹理生成标记逐层抽象提取纹理特征；生成对抗网络的损失函数采用多尺度均方差以及多尺度梯度差，将高层语义特征和相邻底层特征组合形成新的特征，逐层预测缺失纹理，并完成多尺度特征提取和纹理内容的生成预测；
[0016]所述纹理内容判别器由重构损失对抗损失感知损失和风格损失共同构建，判别器定义式如下：
[0017][0018]其中,λ
r
、λ
a2
、λ
s
、λ
sty
分别为通过试验确定的各损失函数的权重参数；G2是判别器输入的原始图像像素点的灰度值，D2是该图像像素点的方差；
[0019]重构损失为轮廓判别中的特征匹配损失，通过实验获得；
[0020]而对抗损失的定义为：
[0021][0022]其中，I
real
为真实图像，P
comp
为真实轮廓与预测轮廓的合成图，T
pred
为缺失纹理的追溯结果，E为分布函数的期望值，D2为方差；
[0023]纹理内容判别器中的感知损失通过在生成对抗网络的预训练网络的激活层之间定义距离度量来优化在感知器上生成的标记与精细像素级标记的差异化结果，定义为：
[0024][0025]其中，为生成对抗网络的预训练网络的激活函数，τ对应来自于Mask数据集上预先训练的激活，N
τ
为激活层神经元个数；
[0026]纹理内容判别器中的风格损失在激活层上计算得到，定义为：
[0027][0028]其中，E是期望，为灰度值函数，通过伽马矩阵对激活函数进行构造获得；
[0029]步骤4：将标记缺失区域的纹理图像、完整的特征轮廓图像和Mask图像作为训练数据集，对基于生成对抗网络的纹理追溯模型进行训练；
[0030]步骤4.1：选取一组训练数据集样本，输入至基于生成对抗网络的纹理追溯模型；
[0031]步骤4.2：通过纹理内容生成器提取背景形貌与缺失区域的颜色、轮廓、纹理这些特征；确定提取的背景形貌与缺失区域对应特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法，其特征在于：包括以下步骤：步骤1：利用边缘提取算法提取裂纹扩展历程的微观纹理图像特征轮廓；步骤2：利用Mask数据集中的不同Mask图像，在原始纹理图像上和特征轮廓上获取带缺失区域标记的纹理图像和特征轮廓；再利用边缘修复算法对带缺失区域标记的纹理图像和特征轮廓的缺失区域进行边缘修复，获取完整的扩展特征轮廓；步骤3：搭建基于生成对抗网络的纹理追溯模型；步骤4：将标记缺失区域的纹理图像、完整的特征轮廓图像和Mask图像作为训练数据集，对基于生成对抗网络的纹理追溯模型进行训练；步骤5：将纹理缺失的图片输入到已经训练好的纹理追溯模型，进行裂纹纹理的重建修复，最终追溯得到完整的裂纹纹理图像。2.根据权利要求1所述的基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法，其特征在于：所述步骤1的具体方法为：步骤1.1：用边缘算子提取出微观纹理图像中反映灰度变化的边缘点集合；步骤1.2：在边缘点集合中剔除灰度值偏差大于设定阈值的像素点，并填补缺失像素值的边界间断点，将最终处理好的边缘点连接成完整的线，得到裂纹扩展历程的微观纹理图像特征轮廓。3.根据权利要求2所述的基于深度学习的裂纹扩展历程复杂缺失纹理的追溯方法，其特征在于：步骤3所述基于生成对抗网络的纹理追溯模型包括纹理内容生成器和纹理内容判别器两个部分；所述纹理内容生成器通过多尺度的编码器与解码器建立，首先根据特征图像分辨率的大小依次设置多个预测分支，每个分支去单独预测不同尺度的目标特征；对于用于预测分辨率大于设定阈值的预测分支，根据实际网络参数采用卷积通道进行处理，对于用于预测分辨率小于等于设定阈值的预测分支，由调参结果采用卷积通道进行处理，并根据形成的新通道信息构建多分支结构的蒸馏模型；然后通过高斯卷积核、带孔卷积、池化策略来控制感受野；采用初始纹理生成弱标记、阶段纹理生成标记和精细化纹理生成标记逐层抽象提取纹理特征；生成对抗网络的损失函数采用多尺度均方差以及多尺度梯度差，最后，将高层语义特征和相邻底层特征组合形成新的特征，逐层预测缺失纹理，并完成多尺度特征提取和纹理内容的生成预测；所述纹理内容判别器由重构损失对抗损失感知损失和风格损失共同构建，判别器定义式如下：其中,λ
r
、λ
a2
、λ
s
、λ
sty
分别为通过试验确定的各损失函数的权重参数；G2是判别器输入的原始图像...

【专利技术属性】
技术研发人员：张啸尘，李峻州，张天，孟维迎，龙彦泽，李颂华，周鹏，石怀涛，丁兆洋，张宇，邹德芳，李翰文，范才子，金兰茹，刁梦楠，
申请(专利权)人：沈阳建筑大学，
类型：发明
国别省市：