一种剪切散斑干涉视频图像多缺陷融合方法技术

本发明专利技术为一种剪切散斑干涉视频图像多缺陷融合方法，包括：搭建剪切散斑干涉无损检测系统，采集含有缺陷的相位图像，建立缺陷识别模型以及缺陷骨架提取模型；运用剪切散斑干涉无损检测系统动态采集被测物体内部缺陷相位图像，利用缺陷识别模型对相位图视频中每一帧图像进行缺陷自动识别，从而得到每一帧图像中的缺陷子图像；将缺陷子图像输入到骨架线提取模型，获得缺陷子图像的骨架线图像；根据缺陷子图像骨架线数量和均方差综合评价缺陷子图像的质量，选取动态视频图像中每个缺陷位置的高质量的缺陷子图像，并将其替换真实图像中的相应位置的图像，从而最终融合为一幅高质量的缺陷评估图像。缺陷评估图像。缺陷评估图像。

【技术实现步骤摘要】
一种剪切散斑干涉视频图像多缺陷融合方法


[0001]本专利技术涉及光电检测
，具体涉及一种剪切散斑干涉视频图像多缺陷融合方法。

技术介绍

[0002]剪切散斑干涉测量技术(ESSPI)因其测量精度高、稳定、测量范围广等优点被广泛应用于粘接结构以及复合材料无损检测中。
[0003]剪切散斑干涉仪用于测量材料内部缺陷时，需要借助外部作用对物体进行加载，主要的加载方式有热加载、声加载、振动加载以及负气压加载等。通过对物体进行均匀的加载，使得物体发生变形，而缺陷处将发生微小的非均匀变形，从而反映到物体表面，进而通过剪切散斑干涉系统捕捉该非均匀变形，从而获得缺陷的检测。
[0004]在实际测量中，外部的加载强度通常是逐渐增加的，于是由于物体内部缺陷质量的差异，将导致在加载强度较小时，质量差的缺陷被检测出，质量较好的缺陷未被检测；而随着加载强度的增加，质量差的缺陷将可能由于变形过大使得条纹过密，从而导致不能被检测出，而质量较好的缺陷此刻可能被检测出。因此可知，在动态检测某一时刻，有些缺陷被很好的检测出，而有些缺陷不能被检出。然而在整个检测过程中，所有缺陷只能通过视频图像中被观测到，这样不利于缺陷的直观表达。因此，为了便于更好地获得所有缺陷检测结果，需要将视频图像中的所有缺陷融合为一幅高质量的多缺陷图。
[0005]鉴于上述，一种剪切散斑干涉视频图像多缺陷融合方法的专利技术在剪切散斑干涉缺陷检测中尤为重要。

技术实现思路

[0006]本专利技术提出一种剪切散斑干涉视频图像多缺陷融合方法，该方法能将缺陷检测的视频图像融合为一副高质量的多缺陷图，从而使得缺陷的观察更加直观。
[0007]本专利技术的上述技术目的是通过以下技术方案得以实现的：
[0008]一种剪切散斑干涉视频图像多缺陷融合方法，包括：
[0009]搭建剪切散斑干涉无损检测系统，采集含有缺陷的相位图像，建立缺陷识别模型以及缺陷骨架提取模型；
[0010]运用剪切散斑干涉无损检测系统动态采集被测物体内部缺陷相位图像，利用缺陷识别模型对相位图视频中每一帧图像进行缺陷自动识别，从而得到每一帧图像中的缺陷子图像；
[0011]将缺陷子图像输入到骨架线提取模型，获得缺陷子图像的骨架线图像；
[0012]根据缺陷子图像骨架线数量和均方差综合评价缺陷子图像的质量，选取动态视频图像中每个缺陷位置的高质量的缺陷子图像，并将其替换真实图像中的相应位置的图像，从而最终融合为一幅高质量的缺陷评估图像。
[0013]进一步地，建立缺陷识别模型包括：
[0014]手动截取相位图中的缺陷子图像，并将缺陷子图像作为输入，利用R
‑
CNN、Fast R
‑
CNN、Faster R
‑
CNN
‑
、Detectron、YOLO、SSD等深度学习网络构建缺陷识别模型。
[0015]进一步地，建立缺陷骨架提取模型包括：
[0016]对截取的缺陷子图像进行二值化、条纹细化、消分支图像处理步骤获得缺陷子图像的骨架线图像，并将该骨架线图像与缺陷子图像作为输入图像，利用U
‑
Net卷积神经网络进行训练，获得骨架线提取模型。
[0017]进一步地，将该骨架线图像与缺陷子图像作为输入图像，利用U
‑
Net卷积神经网络进行训练，训练过程包括前向传播和反向传播；
[0018]其中，在前向传播中，ESSPI缺陷条纹图像作为输入图像输入到U
‑
Net网络，经过L个卷积层后，最终转换为具有两个通道的特征向量；加上缺陷条纹图像I表示为{I
i
,i＝1,
…
,Z}的集合，其中I
i
表示为像素点i对应的灰度值,Z表示为像素个数；则特征向量可以表示为：
[0019][0020]其中，是卷积算子,是第l
‑
1卷积层输出的特征图；ReLU是整流线性单元；
[0021]缺陷条纹图像I的输出特征向量I
fm
可以表示为然后使用softmax函数确定像素是否属于骨架像素I
i
或者非骨架像素；Softmax函数定义为：
[0022][0023]其中，p
c
(I
i
)是像素I
i
属于c类的概率值,c＝1或2；利用softmax函数，输出的结果是一系列的概率值；
[0024]利用交叉熵损失函数来量化正向传播得到的概率值与真值之间的差值，交叉熵表达如下：
[0025][0026]其中，y
i
为1
×
2向量，表示像素I
i
的真值类别；y
i
＝0或1，判断取决于对应的骨架像素S
i
；
[0027]在反向传播中，通过最小化交叉熵损失函数，最终得到最优参数：
[0028]W
l
,B
l
)＝argmin(loss)
[0029]当网络参数确定后，训练过程结束。
[0030]进一步地，运用剪切散斑干涉无损检测系统动态采集被测物体内部缺陷相位图像，包括在检测前采集一幅真实物体图像作为被展示的图像，然后对物体进行均匀持续加载，使其缺陷表现为物体表面变形，同时系统动态地捕获其内部缺陷相位图，从而得到缺陷相位图的视频图像。
[0031]进一步地，获得缺陷子图像的骨架线图像的过程包括将缺陷子图像输入到已经训练好的缺陷骨架提取模型，输入缺陷图像中的每一个像素都将由训练后的网络来确定是否属于骨架像素，从而最终自动提取出缺陷图像的条纹骨架。
[0032]进一步地，根据缺陷子图像骨架线数量和均方差综合评价缺陷子图像的质量包括，得出一个判断缺陷子图像质量的参数，即：
[0033]μ＝n/σ
[0034]其中，n为条纹骨架数量，σ为缺陷子图像的归一化的均方差；
[0035]根据最大的参数μ值选取缺陷视频图像中同一个位置最好的缺陷子图像，并将该子图像替换真实图像相应位置的子图像；每个缺陷执行同样的操作，则最终融合为一副完整的包含所有缺陷的图像。
[0036]本专利技术的有益效果为：
[0037]1.相比现有剪切散斑干涉无损检测中的利用视频图像观测缺陷位置和大小，本专利技术提出的将缺陷质量不一致的视频图像进行融合，合成为一副完整高质量的缺陷图，融合后的缺陷图显示在真实图像表面有利于找出缺陷在真实物体的具体位置，并且融合后的缺陷图包含检测中的所有缺陷，便于检测人员得出可靠的结论。
[0038]2.本专利技术结合了深度学习自动识别技术、条纹图骨架线自动提取技术，并提出了缺陷子图像的评价体系，能方便地用于评价缺陷子图像质量。
附图说明
[0039]图1为剪切散斑干涉视频图像多缺陷融合流程图；
[0040]图2为缺陷骨架自动提取流程图；
[0041]图3为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种剪切散斑干涉视频图像多缺陷融合方法，其特征在于，包括：搭建剪切散斑干涉无损检测系统，采集含有缺陷的相位图像，建立缺陷识别模型以及缺陷骨架提取模型；运用剪切散斑干涉无损检测系统动态采集被测物体内部缺陷相位图像，利用缺陷识别模型对相位图视频中每一帧图像进行缺陷自动识别，从而得到每一帧图像中的缺陷子图像；将缺陷子图像输入到骨架线提取模型，获得缺陷子图像的骨架线图像；根据缺陷子图像骨架线数量和均方差综合评价缺陷子图像的质量，选取动态视频图像中每个缺陷位置的高质量的缺陷子图像，并将其替换真实图像中的相应位置的图像，从而最终融合为一幅高质量的缺陷评估图像。2.根据权利要求1所述的一种剪切散斑干涉视频图像多缺陷融合方法，其特征在于：所述建立缺陷识别模型包括：手动截取相位图中的缺陷子图像，并将缺陷子图像作为输入，利用R
‑
CNN、Fast R
‑
CNN、Faster R
‑
CNN
‑
、Detectron、YOLO、SSD深度学习网络构建缺陷识别模型。3.根据权利要求1所述的一种剪切散斑干涉视频图像多缺陷融合方法，其特征在于：所述建立缺陷骨架提取模型包括：对截取的缺陷子图像进行二值化、条纹细化、消分支图像处理步骤获得缺陷子图像的骨架线图像，并将该骨架线图像与缺陷子图像作为输入图像，利用U
‑
Net卷积神经网络进行训练，获得骨架线提取模型。4.根据权利要求3所述的一种剪切散斑干涉视频图像多缺陷融合方法，其特征在于：所述将该骨架线图像与缺陷子图像作为输入图像，利用U
‑
Net卷积神经网络进行训练，训练过程包括前向传播和反向传播；其中，在所述前向传播中，ESSPI缺陷条纹图像作为输入图像输入到U
‑
Net网络，经过L个卷积层后，最终转换为具有两个通道的特征向量；加上缺陷条纹图像I表示为{I
i
，i＝1，
…
，Z}的集合，其中I
i
表示为像素点i对应的灰度值，Z表示为像素个数；则特征向量可以表示为：其中，是卷积算子，是第I
‑
1卷积层输出的特征图；...

【专利技术属性】
技术研发人员：吴荣，刘燕德，汪剑伟，周建民，李斌，刘睿鹏，
申请(专利权)人：华东交通大学，
类型：发明
国别省市：