紧固件松动识别方法、系统、终端及存储介质技术方案

本申请实施例提供一种紧固件松动识别方法、系统、终端及存储介质，涉及质量检测技术。所述紧固件松动识别方法，包括：对获取的紧固件检测框进行扩边及分割，得到紧固件的标记线的掩板；根据所述紧固件的标记线的掩板在深度图上提取出对应的深度值并根据相机内参得到对应的点云数据；在点云数据中存在不连通且主方向不同时，确定所述紧固件松动。本申请实施例中，紧固件的空间信息更完善，相对于基于二维图像的判断结果准确性更高，且能够替代人工完成检查识别，效率更高，数据可复验。数据可复验。数据可复验。

【技术实现步骤摘要】
紧固件松动识别方法、系统、终端及存储介质


[0001]本申请涉及质量检测技术，尤其是涉及一种紧固件松动识别方法、系统、终端及存储介质。

技术介绍

[0002]在高铁、地铁等轨道车辆中，通常通过螺栓等紧固件将多个部件连接。其中，为了防止紧固件松动引发安全事故，通常在两个紧固件之间穿过缠绕8字铁丝等防松件。轨道车辆运行过程中产生的振动等因素导致铁丝等防松件极易断裂，进而导致螺栓等紧固件仍然存在松动的风险。
[0003]相关技术中，通常是人工检查来判断紧固件是否松动。具体地，在紧固的螺栓上画上标记线，检查人员通过肉眼观察标记线是否错位，在观察到标记线发生错位时，确定紧固件已经松动。然而，采用人工观察的方式，工人很容易疲劳懈怠导致漏检。

技术实现思路

[0004]为了解决上述技术缺陷之一，本申请实施例中提供了一种紧固件松动识别方法、系统、终端及存储介质。
[0005]本申请第一方面实施例提供一种紧固件松动识别方法，包括：
[0006]对获取的紧固件检测框进行扩边及分割，得到紧固件的标记线的掩板；
[0007]根据所述紧固件的标记线的掩板在深度图上提取出对应的深度值并根据相机内参得到对应的点云数据；
[0008]在点云数据中存在不连通且主方向不同时，确定所述紧固件松动。
[0009]本申请第二方面实施例提供一种紧固件松动识别系统，包括：
[0010]第一处理模块，用于对获取的紧固件检测框进行扩边及分割，得到紧固件的标记线的掩板；
[0011]第二处理模块，用于根据所述紧固件的标记线的掩板在深度图上提取出对应的深度值并根据相机内参得到对应的点云数据；
[0012]第三处理模块，用于在点云数据中存在不连通且主方向不同时，确定所述紧固件松动。
[0013]本申请第三方面实施例提供一种终端，包括：
[0014]存储器；
[0015]处理器；以及
[0016]计算机程序；
[0017]其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如前述任一项所述的方法。
[0018]本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序；所述计算机程序被处理器执行以实现如前述任一项所述的方法。
[0019]本申请实施例提供一种紧固件松动识别方法、系统、终端及存储介质，基于灰度相机及深度相机的采集的图像，提取出紧固件的标记线的掩板对应的深度值并根据相机内参得到对应的点云数据，对点云数据进行连通性分析及PCA，根据分析结果自动识别出松动的紧固件。本申请实施例中，紧固件的空间信息更完善，相对于基于二维图像的判断结果准确性更高，且能够替代人工完成检查识别，效率更高，数据可复验。
附图说明
[0020]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0021]图1为一示例性实施例提供的方法的流程示意图；
[0022]图2为一示例性实施例提供的方法的流程示意图；
[0023]图3为一示例性实施例提供的系统的结构示意图；
[0024]图4a为一示例性实施例提供的螺栓未松动时的示意图；
[0025]图4b为一示例性实施例提供的螺栓松动时的示意图。
具体实施方式
[0026]为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0027]相关技术中，通常是人工检查来判断紧固件是否松动。具体地，在紧固的螺栓上画上标记线，检查人员通过肉眼观察标记线是否错位，在观察到标记线发生错位时，确定紧固件已经松动。然而，采用人工观察的方式，工人很容易疲劳懈怠导致漏检。
[0028]此外，也有一些方式是基于二维图像判断标记线是否在一条直线。然而，由于二维图像中的标记线方向不固定或拍照角度不好等原因，导致在二维图像无法准确判断标记线是否错位。
[0029]为了克服上述问题中的至少一个，本申请实施例提供一种紧固件松动识别方法、系统、终端及存储介质，基于灰度相机及深度相机的采集的图像在三维空间自动判断紧固件是否松动，如此，紧固件的空间信息更完善，相对于基于二维图像的判断结果准确性更高，且能够替代人工完成检查识别，效率更高，数据可复验。
[0030]下面结合附图对本申请实施例提供的紧固件松动识别方法、系统、终端及存储介质的功能及实现过程进行举例说明。
[0031]如图1所示，本实施例提供的紧固件松动识别方法，包括：
[0032]S101、对获取的紧固件检测框进行扩边及分割，得到紧固件的标记线的掩板；
[0033]S102、根据紧固件的标记线的掩板在深度图上提取出对应的深度值并根据相机内参得到对应的点云数据；
[0034]S103、在点云数据中存在不连通且主方向不同时，确定紧固件松动。
[0035]在步骤S101之前，如图2所示，需先获取紧固件的检测框。具体地：
[0036]获取通过对齐的灰度相机及深度相机分别采集的灰度图及深度图；
[0037]根据灰度图及深度图对紧固件进行检测定位，得到紧固件检测框。
[0038]其中，采用具有灰度和深度对齐相机拍摄，基于灰度图可以完成紧固件标记线的分割定位；深度相机可以获取三维点云数据，相比二维图像判断更加准确。
[0039]基于灰度图完成紧固件位置的检测定位，得到紧固件检测框。具体可以采用基于深度学习的卷积神经网络，例如faster r-cnn等目标检测网络，输出一张图中多个紧固件的位置信息[x1,y1,w,h]，其中x1,y1为紧固件左上角坐标，w,h为紧固件的宽和高；根据多个紧固件的位置信息得到各紧固件的检测框。
[0040]在步骤S101中，具体包括：
[0041]对获取的紧固件检测框进行扩边，根据预设的区域进行剪裁；
[0042]将剪裁后的区域输入基于深度学习的图像分割网络，得到紧固件的标记线的掩板。
[0043]紧固件标记线一般在紧固件检测框一定范围内，因此可以对紧固件检测框进行一定范围的扩边，把预设的区域例如[x1-w/2,y1-h/2,2w,2h]大小的区域进行裁剪，送入基于深度学习的图像分割网络，例如mask r-cnn，得到紧固件标记线的掩板mask。
[0044]在步骤S102中，根据mask结果在深度图上提取出对应的深度值并根据相机内参得到对应的三维的点云数据。
[0045]在步骤S103中，对点云数据进行连通性分析及PCA，根据分析结果确定紧固件是否松动。
[0046]在点云数据中各点连通时，说明标记线没有错位，则紧固件没有松动。
[0047]在确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种紧固件松动识别方法，其特征在于，包括：对获取的紧固件检测框进行扩边及分割，得到紧固件的标记线的掩板；根据所述紧固件的标记线的掩板在深度图上提取出对应的深度值并根据相机内参得到对应的点云数据；在点云数据中存在不连通且主方向不同时，确定所述紧固件松动。2.根据权利要求1所述的方法，其特征在于，所述对获取的紧固件检测框进行扩边及分割，得到紧固件的标记线的掩板，包括：对获取的紧固件检测框进行扩边，根据预设的区域进行剪裁；将剪裁后的区域输入基于深度学习的图像分割网络，得到紧固件的标记线的掩板。3.根据权利要求1所述的方法，其特征在于，所述在点云数据中存在不连通且主方向不同时，确定所述紧固件松动，包括：在确定点云数据中存在不连通的点时，对所述不连通的点进行主成分分析PCA；在得到的主方向不在一条直线上时，确定所述紧固件松动。4.根据权利要求3所述的方法，其特征在于，确定点云数据中存在不连通的点，包括：分别获取所述点云数据中各点与其余点的最近邻欧式距离；在所述最近邻欧式距离大于阈值时，确定存在不连通的点。5.根据权利要求1所述的方法，其特征在于，在对获取的紧固件检测框进行扩边及分割之前，包括：获取通过对齐的灰度相机及深度相机分别采集的灰度图及深度图；根据所述灰度图及深度图对紧固件进行检测定位，得到紧固件检测框。6.一种紧固件松动识别系统，其特征在于，包括：第一处理模块，用于对获取的紧固件检测框进行扩边及分割，得到紧固件的标记线的掩板；第二处...

【专利技术属性】
技术研发人员：赵勇，林昌伟，杨宁华，龚月，冯子勇，周瑞，
申请(专利权)人：北京格灵深瞳信息技术有限公司，
类型：发明
国别省市：