【技术实现步骤摘要】
本专利技术涉及目标检测，尤其涉及一种基于目标检测和关键点追踪的手动阀门异常操作检测方法。
技术介绍
1、尽管自动化控制阀门在现代工业中占据了主导地位，手动控制阀门仍然具有重要的价值和不可替代的作用。在物料装卸等间歇性操作场景，手动阀门操作通常是唯一的物料传输控制方式。在某些特殊环境下，如高温、高压、强辐射等极端条件下，自动化控制系统的稳定性和可靠性可能会受到影响，而手动控制阀门则可以在这些环境下正常工作，确保生产过程的顺利进行。此外，在自动化控制系统出现故障或需要紧急干预时，手动控制阀门是必不可少的应急备用手段。在连续的手动阀门操作中，阀门开关操作以及不同阀门启闭顺序通常有着严格的规定，一旦操作失误，可能导致生产事故，对人员和设备造成损害等安全隐患。
2、然而，传统的手动阀门操作往往依赖于人工检查和记录，这种人工检查需要耗费大量时间和人力，且无法及时查处操作异常；借助摄像头远程监控技术，管理者能够对指定区域内的阀门操作实施不间断的远程监控，一定程度上提高了管理效率与响应速度。然而，由于阀门操作的精确捕捉和深入分析需求，加上基于多摄像头产生的大量视频数据，面对众多阀门以及监控人员长时间工作可能出现的视觉疲劳，这些问题无疑增加了阀门操作监控的复杂性和难度，可能会降低监控的实际效果和准确性。智能监控视频可以对阀门等对象进行目标检测，但无法直接对动态操作进行识别，且无法给出操作是否正确的逻辑判断。
技术实现思路
1、专利技术目的：针对
技术介绍
中指出的问题，本专利技术公开一种基于
2、技术方案：本专利技术公开一种基于目标检测和关键点追踪的手动阀门异常操作检测方法，包括如下步骤：
3、步骤1：通过摄像头采集视频图像数据，对操作人员和操作人员的手部进行目标检测，提取手部检测框；
4、步骤2：对阀门手柄或阀门手轮的辐条进行关键点追踪检测，获取阀门检测框；
5、步骤3：通过手部检测框与阀门检测框的重叠关系判断是否存在阀门操作；通过关键点时序分析确定阀门的顺时针或逆时针旋转状态，进一步确定阀门开关操作识别结果：阀门开关及其状态；
6、步骤4：最后根据判断结果判断阀门操作是否存在异常。
7、进一步地，所述步骤1中对操作人员和操作人员的手部进行目标检测，提取手部检测框，具体如下：
8、步骤1.1：构建操作人员及其手部的目标检测及追踪模型，所述目标检测模型采用yolo深度学习模型来进行训练；
9、步骤1.2：建立手动操作阀门场景中人员及其手部数据集，采集手动操作阀门场景下的视频数据，并将视频流加载成图像帧，从而构建包括操作人员及其手部信息的数据集；
10、步骤1.3：使用labelme软件对操作人员及其手部进行轮廓标注，标注生成json文件，然后使用脚本将其转化成yolo 格式的文件；
11、步骤1.4：将采集的图片制作成训练数据集和测试数据集；
12、步骤1.5：将获得的数据集输入步骤1.1中yolo深度学习模型，进行操作人员及其手部目标检测的模型训练；
13、步骤1.6：基于目标检测结果，使用opencv视觉库中的 csrttracker 算法对人员目标进行追踪。
14、进一步地，所述步骤2中对阀门手柄或阀门手轮的辐条进行关键点追踪检测具体如下：
15、步骤2.1：构建阀门的关键点追踪检测模型；
16、步骤2.2：在阀门操作场景的数据集图片中，使用labelme同步标注阀门及其对应的关键点；
17、步骤2.3：关键点检测模型训练，python脚本文件将采集的图片制作成训练数据集和测试数据集，将其输入关键点追踪检测模型，进行关键点的模型训练；
18、步骤2.4：关键点追踪，采用卡尔曼滤波器或光流法，对连续帧之间的关键点进行匹配，确定关键点在空间中的相对位置，追踪关键点的运动。
19、进一步地，所述步骤2.2中，对于手柄式阀门，关键点为手柄两端；对于手轮式阀门，关键点为辐条的两个端点。
20、进一步地，所述步骤3中阀门开、关动作的实时监测具体包括如下过程：
21、步骤3.1：阀门操作识别，当手部目标检测框与阀门目标检测框的重合度达到10%以上时，判断正在进行阀门相关操作，并进而触发阀门旋转相关计算；
22、步骤3.2：提取连续或适当间隔的关键点坐标信息，采用opencv视觉库中的math.atan函数进行角度计算，并通过向量叉乘计算函数计算旋转方向，旋转角度负值为顺时针旋转，对应阀门开启过程；旋转角度正值为逆时针旋转，对应阀门关闭过程。
23、进一步地，所述步骤4中判断阀门操作是否存在异常具体如下：
24、步骤4.1：将步骤3识别的阀门开关操作识别结果写入向量组，每次写入后，将识别向量组与初始设定的阀门规范操作对应的对标向量组进行计算对比；
25、步骤4.2：如果与对标向量组一致，则继续向下操作；如果不一致，则发出预警信号。
26、有益效果
27、本专利技术公开的基于目标检测和关键点追踪的手动阀门异常操作识别检测方法，通过对操作人员和操作人员的手部进行目标检测，提取手部检测框；对阀门手柄或阀门手轮的辐条进行关键点追踪检测，获取阀门检测框；通过手部检测框与阀门检测框的重叠关系判断是否存在阀门操作，可实现对阀门开启、关闭以及操作顺序是否正确的精准识别，对异常操作可及时发出报警信息，以便及时消除安全隐患。
本文档来自技高网...【技术保护点】
1.一种基于目标检测和关键点追踪的手动阀门异常操作检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于目标检测和关键点追踪的手动阀门异常操作检测方法，其特征在于，所述步骤1中对操作人员和操作人员的手部进行目标检测，提取手部检测框，具体如下：
3.根据权利要求1所述的基于目标检测和关键点追踪的手动阀门异常操作检测方法，其特征在于，所述步骤2中对阀门手柄或阀门手轮的辐条进行关键点追踪检测具体如下：
4.根据权利要求2所述的基于目标检测和关键点追踪的手动阀门异常操作检测方法，其特征在于，所述步骤2.2中，对于手柄式阀门，关键点为手柄两端；对于手轮式阀门，关键点为辐条的中心点及两个端点。
5.根据权利要求1所述的基于目标检测和关键点追踪的手动阀门异常操作检测方法，其特征在于，所述步骤3中阀门开、关动作的实时监测具体包括如下过程：
6.根据权利要求1所述的基于目标检测和关键点追踪的手动阀门异常操作检测方法，其特征在于，所述步骤4中判断阀门操作是否存在异常具体如下：
【技术特征摘要】
1.一种基于目标检测和关键点追踪的手动阀门异常操作检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于目标检测和关键点追踪的手动阀门异常操作检测方法，其特征在于，所述步骤1中对操作人员和操作人员的手部进行目标检测，提取手部检测框，具体如下：
3.根据权利要求1所述的基于目标检测和关键点追踪的手动阀门异常操作检测方法，其特征在于，所述步骤2中对阀门手柄或阀门手轮的辐条进行关键点追踪检测具体如下：
4.根据权利要求2所述...
【专利技术属性】
技术研发人员：乔春欣，朱宁宁，刘雪梅，庞建峰，谢兴勇，刘飞，马喜君，
申请(专利权)人：淮阴工学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。