System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于Yolov5关键点检测模型的抽烟行为识别方法及系统技术方案_技高网

一种基于Yolov5关键点检测模型的抽烟行为识别方法及系统技术方案

技术编号:41872855 阅读:14 留言:0更新日期:2024-07-02 00:24
本发明专利技术公开了一种基于Yolov5关键点检测模型的抽烟行为识别方法及系统,其中方法包括:S1:对采集的安全作业现场场景的人脸类别信息、标注框空间位置信息以关键点位置信息进行标注,构建训练集;S2:构建Yolov5关键点检测模型,选取训练集的样本数据送入Yolov5关键点检测模型进行训练,得到完成训练的Yolov5关键点检测模型;S3:将待检测的实时安全作业现场场景输入至Yolov5关键点检测模型得到模型推理结果;S4:对模型推理结果进行判定识别是否存在抽烟行为。本发明专利技术解决了现有检测技术对抽烟行为识别的推理速度不足且漏检率相对较高、容易造成误判的问题。

【技术实现步骤摘要】

本专利技术属于电力作业现场安全监控领域,特别涉及一种基于yolov5关键点检测模型的抽烟行为识别方法及系统。


技术介绍

1、电力作业现场一般周边存在电力设施,一旦抽烟烟头烟灰落到设施上就有可能造成短路或设备损坏,影响电网的稳定运行,此外电力作业现场施工人员有可能因为抽烟,分散注意力,增加发生事故的风险。因此,电力企业通常会有严格的安全管理体系,包括安全教育培训、安全标识标牌、安全检查和应急预案等,以保障作业现场的安全。在这样的管理体系中,禁止吸烟是其中的一项基本规定。

2、传统的做法,电力作业现场施工时,一般派有安全管理人员进行现场监督,但这无形中增加了企业的人工成本。现在,一般要求现场工作人员架起球机,对施工区域进行实时监控,并接入省电力公司安全管理平台后,才允许工作人员开始施工。安全管理平台实时监控全省所有施工摄像头,并进行远程监督。该方法可以允许一个安全员同时远程监督几个甚至几十个作业现场,节约了用工成本。但是,该方法由于远程监督、一对多监督,容易造成发现不及时甚至漏检。

3、公开号为cn114495258a的中国专利公开了一种安全帽佩戴与抽烟检测的安全监控方法,包括以下步骤:采集人体关键点信息以及安全帽佩戴、香烟的标注信息,构造并训练人体关键点识别网络和目标检测网络;获取实时视频流信息,对实时视频流信息解码得到单帧图像;将获得的单帧图像传入人体关键点识别网络进行人体关键点的检测;通过人体关键点的检测,将人体的上半身截取出来,获得人体的上半身图像;将人体上半身图像传输至目标检测网络进行安全帽佩戴和抽烟检测,获得检测结果;对检测结果进行空间位置分析,去除误报信息;然后进行下一帧视频流中的单帧图像处理,重复上述步骤,直至实时视频流信息全部检测完毕。该专利技术构建了两个深度学习网络进行检测判定,通过采用人体关键点识别网络和目标检测网络识别人体关键点和香烟,然后利用空间相对位置信息,对抽烟行为进行二次判定,其精度相比于单一目标检测网络有较大提升,但同时由于采用了多个模型,且无法直接利用gpu或npu进行端到端推理,因此其推理速度相比于单一模型至少下降了50%,无法满足电力安全作业现场智能球机上的实时性要求。

4、公开号为cn117315768a的中国专利公开了一种基于深度学习的抽烟检测方法、装置及系统,方法包括:对真实场景下抽烟图片进行预处理及标注处理构建人体检测数据集、人脸关键点检测数据集、香烟检测数据集;构建并训练人体检测网络模型、香烟检测网络模型及人脸关键点检测网络模型;将待识别的真实场景中的图片输入至人体检测网络模型中得到人体检测框坐标信息,裁剪得到人体图像;将人体图像输入至香烟检测网络模型中得到香烟的检测框坐标信息;将人体图像输入至人脸关键点检测网络模型中得到人脸关键点坐标信息;通过与预设阈值进行判断,若小于预设阈值,则存在抽烟行为。该专利技术通过构建三类模型检测抽烟行为,同样存在推理速度降低的问题。此外,该类方法仅利用了空间位置信息,没有利用角度信息对抽烟行为进行进一步的判定,因此误检率仍然相对较高,容易引起误判。


技术实现思路

1、本专利技术提供一种基于yolov5关键点检测模型的抽烟行为识别方法及系统,旨在解决现有检测技术对抽烟行为识别的推理速度不足且漏检率相对较高、容易造成误判的问题。

2、为解决上述技术问题,本专利技术提供一种基于yolov5关键点检测模型的抽烟行为识别方法,包括以下步骤:

3、s1:对采集的安全作业现场场景的类别信息、标注框空间位置信息以关键点位置信息进行标注,构建训练集。

4、s2:构建yolov5关键点检测模型,选取训练集的样本数据送入yolov5关键点检测模型进行训练,得到完成训练的yolov5关键点检测模型。

5、s3:将待检测的实时安全作业现场场景输入至yolov5关键点检测模型得到模型推理结果,所述模型推理结果包括目标框中心点x/y方向偏移值、目标框x/y方向尺寸特征值、前景置信度、cn个类别置信度以及ln个关键点x/y方向偏移值。

6、s4:对模型推理结果进行判定识别是否存在抽烟行为。

7、优选的,所述yolov5关键点检测模型具体包括输入部分、主干网络、颈部网络和头部网络。

8、所述输入部分用于对样本数据进行数据增强,所述数据增强包括随机裁剪增强、随机平移增强、随机hsv空间增强、随机仿射变换增强和mosaic变换增强。

9、所述主干网络用于特征提取,由conv模块、c3模块以及spff模块构成。

10、所述颈部网络用于特征融合,基于路径聚合网络panet架构,由conv模块、upsample上采样层、c3模块以及concat特征拼接层构成。

11、所述头部网络用于将融合后的特征生成最终的目标检测结果。

12、优选的,所述主干网络的结构具体为:

13、conv模块由卷积层,bn归一化层和silu激活层组成。

14、c3模块基于残差网络结构,由conv模块和bottleneck模块以及contat特征拼接层组成,其中bottleneck模块采用bottlenecktrue格式,所述bottlenecktrue格式由两个conv模块串联然后和输入层进行shortcut特征相减。

15、spff模块由conv模块、maxpool最大池化模块、以及concat特征拼接层组成,具体为:输入conv模块后依次经过多个maxpool最大池化模块,再通过concat特征拼接层融合不同感受野的特征图,最后经过conv模块进行输出。

16、优选的,所述颈部网络的c3模块基于残差网络结构,由conv模块和bottleneck模块以及contat特征拼接层组成,其中bottleneck模块采用bottleneck false格式,所述bottleneck false格式直接由两个conv模块串联组成。

17、优选的,针对关键点位置信息,所述yolov5关键点检测模型使用wing loss函数计算关键点回归损失,所述wing loss函数的计算公式表示为:

18、

19、式中,wl(x)为损失函数;ω为限制因子,将非线性部分限制在[-ω,ω]区域内;∈为约束非线性区域的曲率;x为预测结果和基准结果之间的差异值;c为常数;

20、关键点回归损失由所有关键点的x坐标和y坐标损失值相加所得,表示为:

21、

22、式中,lossl为关键点回归损失函数;ln为关键点总数;δi为当前目标是否包含有效关键点,若当前目标包含有效关键点,则δi为1,若当前目标不包含有效关键点,则δi为0;xi和yi分别为特征图上预测第i个关键点x方向和y方向偏移值;和分别为特征图上第i个关键点基准x方向和y方向偏移值。

23、优选的,所述步骤s4具体为:

24、s41:若模型推理结果中判断无烟头目标,则直接判定为无抽烟行为。...

【技术保护点】

1.一种基于Yolov5关键点检测模型的抽烟行为识别方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于Yolov5关键点检测模型的抽烟行为识别方法,其特征在于,所述Yolov5关键点检测模型具体包括输入部分、主干网络、颈部网络和头部网络;

3.根据权利要求2所述的一种基于Yolov5关键点检测模型的抽烟行为识别方法,其特征在于,所述主干网络的结构具体为:

4.根据权利要求2所述的一种基于Yolov5关键点检测模型的抽烟行为识别方法,其特征在于,所述颈部网络的C3模块基于残差网络结构,由Conv模块和Bottleneck模块以及Contat特征拼接层组成,其中Bottleneck模块采用Bottleneck False格式,所述Bottleneck False格式直接由两个Conv模块串联组成。

5.根据权利要求2所述的一种基于Yolov5关键点检测模型的抽烟行为识别方法,其特征在于,针对关键点位置信息,所述Yolov5关键点检测模型使用Wing loss函数计算关键点回归损失,所述Wing loss函数的计算公式表示为:

6.根据权利要求1所述的一种基于Yolov5关键点检测模型的抽烟行为识别方法,其特征在于,所述步骤S4具体为:

7.根据权利要求6所述的一种基于Yolov5关键点检测模型的抽烟行为识别方法,其特征在于,所述步骤S45具体为:

8.一种基于Yolov5关键点检测模型的抽烟行为识别系统,其特征在于,包括数据模块、关键点检测模型模块、实时检测模块与抽烟行为识别模块;

9.一种电子设备,所述电子设备包括:存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的一种基于Yolov5关键点检测模型的抽烟行为识别方法。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的一种基于Yolov5关键点检测模型的抽烟行为识别方法。

...

【技术特征摘要】

1.一种基于yolov5关键点检测模型的抽烟行为识别方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于yolov5关键点检测模型的抽烟行为识别方法,其特征在于,所述yolov5关键点检测模型具体包括输入部分、主干网络、颈部网络和头部网络;

3.根据权利要求2所述的一种基于yolov5关键点检测模型的抽烟行为识别方法,其特征在于,所述主干网络的结构具体为:

4.根据权利要求2所述的一种基于yolov5关键点检测模型的抽烟行为识别方法,其特征在于,所述颈部网络的c3模块基于残差网络结构,由conv模块和bottleneck模块以及contat特征拼接层组成,其中bottleneck模块采用bottleneck false格式,所述bottleneck false格式直接由两个conv模块串联组成。

5.根据权利要求2所述的一种基于yolov5关键点检测模型的抽烟行为识别方法,其特征在于,针对关键点位置信息,所述yolov5关键点检测模型使用wing ...

【专利技术属性】
技术研发人员:李春鹏黄书清郑成晖张迎新程颖张冬荣陈倩毛俊君林海平
申请(专利权)人:国网福建省电力有限公司南平供电公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1