【技术实现步骤摘要】
本申请属于图像处理，尤其涉及一种密集螺栓松动视频检测方法、终端设备及存储介质。
技术介绍
1、高强度螺栓连接作为钢桥连接的重要方式，因其具有连接强度高、施工操作简单的优点，已在桥梁工程领域得到了广泛的应用。而随着桥梁的长期服役，例如大跨钢桥密集螺栓区域内螺栓组群，如图1中实线框部分所示，在工作时长期处于振动、冲击的状态，这些负面状态容易使螺栓发生疲劳松动、脱落的情况，严重威胁到桥梁安全。因此有效评估螺栓松动状态，是保障钢桥通行安全的一项重要内容。
2、相比于螺栓脱落，螺栓松动特征比较隐蔽，在螺栓发生松动后，其视觉特征变化不明显，因此简单地通过人工方式难以辨识螺栓松动程度。并且在面对钢桥密集螺栓时，工人需要检测大量的螺栓，同时需要进行难度巨大的攀爬作业。传感器检测一般需要在螺栓附近布设传感器，通过收集并识别螺栓松动异常信号，实现螺栓松动检测。采用传感器检测，在螺栓局部区域能够取得较为准确的松动检测结果。但在检测钢桥螺栓时，由于节点板区域部署了大量螺栓，且螺栓松动往往以随机方式发生在某一两处，因此无法对松动螺栓进行针对性的传感器部署，这就导致了传感器部署过程时间过长。此外，传感器需要人工架设和部署，因此在检测位于钢桥高处螺栓时，大大增加了传感器架设的难度。
3、近几年来，深度学习技术在各领域迅速发展，特别在机器视觉领域，深度学习应用广泛。相比于人工检测和传感器检测等方法，利用机器视觉进行螺栓松动程度评估可以显著减少部署时间和部署难度。机器视觉检测主要通过相机拍摄螺栓区域，然后对拍摄的图像或视频进行特征提取，来
技术实现思路
1、为克服相关技术中存在的问题，本申请实施例提供了一种密集螺栓松动视频检测方法、终端设备及存储介质，能够实现大跨径钢桥的密集螺栓松动状态的精确检测。
2、本申请是通过如下技术方案实现的：
3、第一方面，本申请实施例提供了密集螺栓松动视频检测方法，包括：
4、采集螺栓的视频图像；
5、基于螺栓的视频图像，按照同一节点板区域的连续视频序列进行分割，得到分割后的视频图像；
6、从分割后的视频图像中提取螺栓阴影面积特征；
7、基于螺栓阴影面积特征，对同一节点板区域的图像序列依次进行相邻帧图像螺栓阴影关联操作，得到单个螺栓的目标阴影特征时间序列；
8、基于单个螺栓的目标阴影特征时间序列，确定松动螺栓。
9、在第一方面的一种可能的实施方式中，基于螺栓的视频图像，按照同一节点板区域的连续视频序列进行分割，得到分割后的视频图像，包括：
10、基于螺栓的视频图像，获取同一节点板的特征描述；
11、基于同一节点板的特征描述，建立同一节点板区域在连续帧图像中的时空关联；
12、基于同一节点板区域在连续帧图像中的时空关联，得到同一节点板区域的连续视频序列；
13、基于同一节点板区域的连续视频序列，得到分割后的视频图像。
14、在第一方面的一种可能的实施方式中，同一节点板的特征描述包括同一节点板区域类型、同一节点板区域的坐标位置和同一节点板区域内的螺栓个数；
15、基于同一节点板的特征描述，建立同一节点板区域在连续帧图像中的时空关联，包括：
16、基于两个连续帧图像的节点板区域类型、两个连续帧图像的节点板区域的距离和两个连续帧图像的节点板区域的螺栓个数，确定相似判定结果序列；两个连续帧图像的节点板区域的距离由相邻两个节点板区域的坐标位置确定；
17、提取相似判定结果序列中的最小值；
18、若相似判定结果序列中的最小值不大于预设阈值，则相似判定结果序列中的最小值对应的两个节点板区域建立同一节点板区域在连续帧图像中的时空关联。
19、在第一方面的一种可能的实施方式中，相似判定结果序列的判定函数f(xi,j,xi+1,k)的表达式为：
20、
21、其中，为相邻两个节点板区域类型的判定函数；为相邻两个节点板区域的距离的权重计算函数；为相邻两个节点板区域的螺栓数目的判定函数；为第i帧图像中识别到的第j个节点板区域类型，为第i帧图像中识别到的第j个节点板区域的坐标位置；为第i帧图像中识别到的第j个节点板区域内的螺栓个数；为第i+1帧图像中识别到的第k个节点板区域类型，为第i+1帧图像中识别到的第k个节点板区域的坐标位置；为第i+1帧图像中识别到的第k个节点板区域内的螺栓个数。
22、在第一方面的一种可能的实施方式中，基于同一节点板区域在连续帧图像中的时空关联，得到同一节点板区域的连续视频序列，包括：
23、若同一节点板区域在连续第一预设数量帧图像中建立时空关联，则判定连续第一预设数量帧图像之后的视频图像中出现同一节点板区域，确定连续第一预设数量帧图像中的第一帧图像的帧号为起始帧号；
24、在确定起始帧号后，若同一节点板区域在连续第二预设数量帧图像中无法建立时空关联，则判定连续第二预设数量帧图像之后的视频图像中同一节点板区域消失，确定连续第二预设数量帧图像中的最后一帧图像的帧号为终止帧号；同一节点板区域的连续视频序列为起始帧号至终止帧号。
25、在第一方面的一种可能的实施方式中，从分割后的视频图像中提取螺栓阴影面积特征，包括：
26、将分割后的视频图像输入改进的unet网络结构；改进的unet网络结构包括多尺度串联增强模块；多尺度串联增强模块用于提取输入改进的unet网络结构中的分割后的视频图像的低级特征图中的空间信息；
27、改进的unet网络结构输出螺栓阴影面积特征。
28、在第一方面的一种可能的实施方式中，基于螺栓阴影面积特征，对同一节点板区域的图像序列依次进行相邻帧图像螺栓阴影关联操作，得到单个螺栓的目标阴影特征时间序列，包括：
29、针对同一节点板区域的两个连续帧图像a和图像b，利用快速傅里叶变换计算两个连续帧图像的频谱；图像a作为模板图像，图像b作为测试图像；
30、基于两个连续帧图像的频谱，利用相乘运算，得到两个连续帧图像的互功率频谱；
31、计算两个本文档来自技高网...
【技术保护点】
1.一种密集螺栓松动视频检测方法，其特征在于，包括：
2.如权利要求1所述的密集螺栓松动视频检测方法，其特征在于，所述基于所述螺栓的视频图像，按照同一节点板区域的连续视频序列进行分割，得到分割后的视频图像，包括：
3.如权利要求2所述的密集螺栓松动视频检测方法，其特征在于，所述同一节点板的特征描述包括同一节点板区域类型、同一节点板区域的坐标位置和同一节点板区域内的螺栓个数；
4.如权利要求3所述的密集螺栓松动视频检测方法，其特征在于，所述相似判定结果序列的判定函数F(Xi,j,Xi+1,k)的表达式为：
5.如权利要求2所述的密集螺栓松动视频检测方法，其特征在于，所述基于所述同一节点板区域在连续帧图像中的时空关联，得到所述同一节点板区域的连续视频序列，包括：
6.如权利要求1所述的密集螺栓松动视频检测方法，其特征在于，所述从分割后的视频图像中提取螺栓阴影面积特征，包括：
7.如权利要求1所述的密集螺栓松动视频检测方法，其特征在于，所述基于螺栓阴影面积特征，对同一节点板区域的图像序列依次进行相邻帧图像螺栓阴影关
8.如权利要求1所述的密集螺栓松动视频检测方法，其特征在于，所述基于所述单个螺栓的目标阴影特征时间序列，确定松动螺栓，包括：
9.一种终端设备，包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的密集螺栓松动视频检测方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的密集螺栓松动视频检测方法。
...【技术特征摘要】
1.一种密集螺栓松动视频检测方法，其特征在于，包括：
2.如权利要求1所述的密集螺栓松动视频检测方法，其特征在于，所述基于所述螺栓的视频图像，按照同一节点板区域的连续视频序列进行分割，得到分割后的视频图像，包括：
3.如权利要求2所述的密集螺栓松动视频检测方法，其特征在于，所述同一节点板的特征描述包括同一节点板区域类型、同一节点板区域的坐标位置和同一节点板区域内的螺栓个数；
4.如权利要求3所述的密集螺栓松动视频检测方法，其特征在于，所述相似判定结果序列的判定函数f(xi,j,xi+1,k)的表达式为：
5.如权利要求2所述的密集螺栓松动视频检测方法，其特征在于，所述基于所述同一节点板区域在连续帧图像中的时空关联，得到所述同一节点板区域的连续视频序列，包括：
6.如权利要求1所述的密集螺栓松动视频检测方法，其特征在...
【专利技术属性】
技术研发人员：王保宪，吴涛，谢炎龙，杜彦良，任伟新，徐飞，赵维刚，荣学亮，吴奕霖，马学禹，
申请(专利权)人：石家庄铁道大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。