一种航空孔探视频中重复损伤的智能检测和判定方法技术

本发明专利技术公开了一种航空孔探视频中重复损伤的智能检测和判定方法，首先对内部损伤进行目标检测，读取当前帧目标检测框的位置和各检测框图像块的深度特征；然后根据置信度对检测框进行过滤；对检测框进行极大值抑制以消除同一损伤有多个检测框的现象；使用卡尔曼滤波追踪器预测目标当前帧的位置；接着对基于外观信息的马氏距离计算轨迹信息和探测信息的代价矩阵，相继进行级联匹配和IOU匹配；最后更新卡尔曼滤波追踪器参数和特征集，同时进行目标消失和新目标出现的判断。在此过程中，为了解决孔探视频中出现重复损伤误判的问题，本发明专利技术基于孪生卷积神经网络和最佳堆叠块的融合，提出了一种航空孔探视频中重复损伤的智能检测和判定方法。判定方法。判定方法。

【技术实现步骤摘要】
一种航空孔探视频中重复损伤的智能检测和判定方法


[0001]本专利技术涉及一种基于孪生网络和最佳堆叠块的航空孔探视频中重复损伤的智能检测和判定方法，属于计算机视觉领域。

技术介绍

[0002]传统的目标追踪方法，历经多年的发展已经取得了较大的进步，在一定程度上能够获得较好的追踪效果。如通过特征空间以及压缩采样进行目标追踪和一种滤波器用于缓解在追踪过程中遮挡带来的影响，并通过蜂群优化算法进行多目标追踪等。上述方法虽然可以在一定程度上实现目标追踪效果，但是设计的追踪器并不能充分的学习到图像中目标内容的特征，因此其追踪效果很不稳定，很难完成实时标注和判定是否为重复损伤的工作。
[0003]近年来，目标检测跟踪技术的发展迅速，跟踪
‑
检测技术已经成为多目标跟踪领域的主流技术。但是其主要集中在行人和车辆的检测和追踪应用中，对于航空发动机损伤研究较少，发动机作为航空领域的核心动力，有效地对其损伤进行追踪具有十分重要的意义。YOLO算法是一种高效的识别算法，对目标的检测识别应用有着十分优秀的性能，可以作为目标追踪中检测阶段的目标检测器，用于提供追踪的航空发动机损伤目标的初始位置。
[0004]在实际航空发动机孔探技术的应用中，发动机内部结构复杂，并且孔探拍摄角度变化大，会遇到检测目标受到遮挡、拍摄角度，光照变化等问题，现有的技术并不适合实际孔探技术，不能满足实时检测和判定是否是重复损伤的需求。

技术实现思路

[0005]为了解决上述问题，本专利技术提供一种基于孪生网络和最佳堆叠块的航空孔探视频中重复损伤的智能检测和判定方法，该方法精度高，处理速度快，降低了损伤在检测的重复率，更适合角度变化大的对象。
[0006]本专利技术首先通过航空孔探视频(例如航空发动机内部孔探视频)对内部(例如发动机内部)损伤进行目标检测，读取当前帧目标检测框的位置以及各检测框图像块的深度特征；
[0007]然后根据置信度对检测框进行过滤；对检测框进行极大值抑制以消除同一损伤有多个检测框的现象；使用卡尔曼滤波追踪器预测目标当前帧的位置；
[0008]接着对基于外观信息的马氏距离计算轨迹信息和探测信息的代价矩阵，依次进行级联匹配和IOU匹配；
[0009]最后更新卡尔曼滤波追踪器参数和特征集，同时进行目标消失和新目标出现的判断。
[0010]在此过程中，为了解决在线统计损伤出现重复损伤干扰的问题，基于孪生卷积神经网络和最佳堆叠块的融合技术，提出了一种航空孔探视频中重复损伤的智能检测和判定方法，具体步骤包括：
[0011]步骤一、在采集到的航空发动机内部孔探视频中，对于给定视频的原始帧，将第一
帧检测到的结果检测框创建其对应的轨迹框；
[0012]步骤二、将该帧目标检测的框和上一帧的通过轨迹预测的框，逐一进行IOU匹配，并计算其代价矩阵；
[0013]步骤三、将步骤二中得到的所有的代价矩阵作为匈牙利算法的输入，通过匈牙利算法得到线性的匹配的结果；
[0014]步骤四、循环步骤二和步骤三，直到匹配的结果出现确认态的轨迹或者视频结束；
[0015]步骤五、通过卡尔曼滤波预测匹配结果的确认态的轨迹和不确认态的轨迹对应的预测框；再把确认态的轨迹的预测框和原视频帧的检测结果的检测框进行级联匹配，并由匹配结果算得相应的代价矩阵；
[0016]步骤六、将步骤五中得到的所有的代价矩阵作为匈牙利算法的输入，通过匈牙利算法得到线性的匹配结果；
[0017]步骤七、将步骤六得到的匹配的结果送入到融合孪生卷积神经网络和最佳堆叠块的模型中进行相似度判断，对得到的损伤进行检测和判定；
[0018]步骤八、循环步骤五～步骤七，直到视频、结束。
[0019]上述检测框即为目标检测框。
[0020]本专利技术的有益效果为：
[0021]本技术方案重点在拍摄角度变化大和受遮挡等的对象，可以精确地传播其语义特征，在目标检测检测基础上加入追踪算法，同时对重复的损伤进行去重，并且提升了损伤检测的准确性。
[0022]本技术方案取得上述成果的技术原因有：
[0023]1)使用现有的如YOLOV5作为目标检测的检测器，对其权重值和网络进行修改，以解决受拍摄角度变化大影响相同损伤识别的问题。
[0024]2)解决检测结果与追踪预测结果的关联的方法是使用匈牙利算法，此处考虑运动信息的关联和目标外观信息的关联。
[0025]3)引入级联匹配，当一个目标长时间被遮挡之后，卡尔曼滤波预测的不确定性就会大大增加，状态空间内的可观察性就会大大降低。
[0026]假如此时两个追踪器竞争同一个检测结果的匹配权，往往遮挡时间较长的那条轨迹因为长时间未更新位置信息，追踪预测位置的不确定性更大，即协方差会更大，马氏距离计算时使用了协方差的倒数，因此马氏距离会更小，因此使得检测结果更可能和遮挡时间较长的那条轨迹相关联，这种不理想的效果往往会破坏追踪的持续性。匹配的最后阶段还对不确定态和过时未匹配成功的轨迹进行基于IOU的匹配。
[0027]4)加入了孪生网络和最佳堆叠快的融合，有效改善了发动机损伤目标受遮挡，光照等引起的同一损伤重复判定的问题。
附图说明
[0028]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0029]图1是本专利技术整体的流程图。
[0030]图2是融合孪生网络和最佳堆叠块流程图。
具体实施方式
[0031]本专利技术公开了一种航空孔探视频中重复损伤的智能检测和判定方法，首先对内部损伤进行目标检测，读取当前帧目标检测框的位置和各检测框图像块的深度特征；然后根据置信度对检测框进行过滤；对检测框进行极大值抑制以消除同一损伤有多个检测框的现象；使用卡尔曼滤波追踪器预测目标当前帧的位置；接着对基于外观信息的马氏距离计算轨迹信息和探测信息的代价矩阵，相继进行级联匹配和IOU匹配；最后更新卡尔曼滤波追踪器参数和特征集，同时进行目标消失和新目标出现的判断。在此过程中，为了解决孔探视频中出现重复损伤误判的问题，本专利技术基于孪生卷积神经网络和最佳堆叠块的融合，提出了一种航空孔探视频中重复损伤的智能检测和判定方法。
[0032]下面结合附图和具体实施方式对本专利技术作进一步详细描述：
[0033]本专利技术的具体实施方式如下：
[0034]步骤一、在采集到的航空发动机内部孔探视频中，对于给定视频的原始帧，将第一帧的检测框创建其对应的轨迹。具体地，步骤一包括如下子步骤：
[0035]步骤1.1、采用目标检测器对视频帧进行检测，获取检测框；
[0036]步骤1.2、将所有目标框中对应的损伤标注出来，进行特征提取；特征包括表观特征、运动特征；
[0037]步骤1.3、将卡尔曼滤波的运动变量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种航空孔探视频中重复损伤的智能检测和判定方法，其特征在于，包括以下步骤：步骤一、在采集到的航空孔探视频中，对于给定视频的原始帧，将第一帧的检测框创建其对应的轨迹框；步骤二、将该检测框和上一帧的轨迹框，逐一进行IOU匹配，并计算其代价矩阵；步骤三、将步骤二中得到的所有代价矩阵作为匈牙利算法的输入，通过匈牙利算法得到线性匹配的结果；步骤四、循环步骤二和步骤三，直到匹配的结果出现确认态的轨迹或者处理完所有的帧；步骤五、通过卡尔曼滤波预测匹配结果的确认态轨迹预测框和不确认态轨迹预测框；再把确认态的轨迹预测框和原视频帧检测结果的检测框进行级联匹配，并由匹配结果算得相应的代价矩阵；步骤六、将步骤五中得到所有的代价矩阵作为匈牙利算法的输入，通过匈牙利算法得到线性匹配结果；步骤七、将步骤六得到的匹配结果送入融合孪生卷积神经网络和最佳堆叠块的模型中进行相似度判断，对得到的损伤进行检测和判定；步骤八、循环步骤五～步骤七，直到处理完所有的帧。2.根据权利要求1所述的一种航空孔探视频中重复损伤的智能检测和判定方法，其特征在于，所述步骤一中：步骤1.1、采用目标检测器对视频帧进行检测，获取检测框；步骤1.2、将所有目标框中对应的损伤标注出来，进行特征提取；特征包括表观特征、运动特征；步骤1.3、将卡尔曼滤波的运动变量初始化，通过卡尔曼滤波预测其对应的预测框。3.根据权利要求1所述的一种航空孔探视频中重复损伤的智能检测和判定方法，其特征在于，所述步骤三中：步骤3.1、对于代价矩阵每行减去该行的最小元素；步骤3.2、生成矩阵每列元素减去该列的最小元素；步骤3.3、用最少的行线和列线将新矩阵中的零全部连接，检查目前是否为最优分配；如果行线和列线没有将矩阵所有元素都连接，进入步骤3.4，否则进入步骤3.5；步骤3.4、在行线和列线没有连接的元素中找到最小元素，将剩余元素减去最小元素，对应行线和列线的交叉点的元素加上最小元素；步骤3.5、找出每一行对应的0元素和列对应的0元素，根据0元素找到最优分配；步骤3.6、为了合并运动信息，使用预测的卡尔曼滤波状态和新到达的测量值之间马氏距离的平方，即第一种度量用d(1)表示：其中，d
(1)
(i，j)表示第j个检测框和第i条轨迹之间的运动匹配度，x
i
是轨迹在当前时刻的预测观测量，S
i
是由卡尔曼滤波器预测得到的在当前时刻观测空间的协方差矩阵，用d
j
表示检测到的目标当前轨迹状态；步骤3.7、使用步骤3.6的指标，通过将马氏距离的阈值设定为逆卡方分布计算出的置
信区间的95％来排除可能性低的关联，用一个指示器来表示这个决定：其中，相应的马氏阈值为t
(1)
时，如果d
(1)
(i，j)大于t
(1)
，则的值设置为0，反之为1。为0时，表示第i个轨迹框和第j个检测框的马氏距离不匹配，为1时表示匹配；步骤3.8、使用第二种度量来测量第i个轨迹框和第j个检测框的最小余弦距离，用d
(2)
表示：d
(2)
(i，j)＝min{1
‑
r
jT
r
i(k)
|r
i(k)
∈R
i
}其中，R
i
是一个容器，存放匹配成果的轨迹框的特征向量；r
j
为第j个检测框的特征向量，r
i(k)
表示第i个轨迹框的k个特征向量；步骤3.9、引入一个二进制变量，来表示这个度量标准是否可以接受一个关联：其中，t
(2)
为一个阈值，如果d
(2)
(i，j)大于t
(2)
，则的值设置为0，反之为1；为0时，表示第i个轨迹框和第j个检测框的余弦距离不匹配，为1时表示匹配；步骤3.10、为了构建关联问题，使用加权和将两个度量结合起来：h
(i，j)
＝λd
(1)
(i，j)+(1
‑
λ)d
(2)
(i，j)其中，d
(1)
(i，j)在步骤3.6中已定义，d
(2)
(i，j)在步骤3.8中已定义，λ表示权重，取值范围为0～1；步骤3.11、如果一个关联在两个度量的门控区域内，则称它为可接受关联：线性匹配的结果有三种：第一种是轨迹失配，此时直接将失配的轨迹删除；第二种是预测结果和检测结果失配，此时将这样的检测结果初始化为一个新的轨迹；第三种是后一帧的检测框和前一帧的预测框配对成功，即相邻两帧追踪成功，此时将后一帧对应的检测结果通过卡尔曼滤波更新其对应的轨迹变量。4.根据权利要求1所述的一种航空孔探视频中重复损伤的智能检测和判定方法，其特征在于，所述步骤五中：步骤5.1、卡尔曼滤波预测，根据上一时刻的估计值预测下一时刻的值，称为先验估计，同时这一步会预测下一时刻的误差，称为先验误差；其中，级联匹配的结果有三种：第一种，轨迹匹配，将这样的轨迹通过卡尔曼滤波更新其对应的轨迹变量；第二种，轨迹失配，将之前不确定态的轨迹与失配轨迹一起和失配的检测框逐一进行IOU匹配，再通过IOU匹配的结果计算其代价矩阵；第三种，检测失配，将之前不确定态的轨迹与失配轨迹一起和失配的检测框逐一进行IOU匹配，再通过IOU匹配的结果计算其代价矩...

【专利技术属性】
技术研发人员：万夕里，黄旭，管昕洁，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：