一种基于改进YOLOv5的不安全行为检测与报警方法技术

本发明专利技术公开了一种基于改进YOLOv5的皮带运输区域不安全行为检测与报警方法，包括如下步骤：确定皮带运输区域的危险因素；建立皮带运输区域数据集；采用YOLOv5模型，为其增加小目标检测层，替换其骨干网络为ShuffleNetV2，将其特征融合层由PANET修改为BIFPN，并添加注意力机制，得到改进的YOLOv5模型作为检测模型；利用皮带运输区域数据集训练该检测模型；利用训练好的检测模型进行不安全行为检测，并根据检测结果进行报警。本发明专利技术旨在对矿山中尤其是皮带运输机区域的人员的不安全行为进行检测，借助相应图片对一些不安全行为进行预警与限制，以达到安全生产的目的，实现更加高效快速实时有效的监督。快速实时有效的监督。快速实时有效的监督。

【技术实现步骤摘要】
一种基于改进YOLOv5的不安全行为检测与报警方法


[0001]本专利技术属于机器视觉、深度学习中目标检测领域、人工智能等
，特别涉及一种基于改进YOLOv5的不安全行为检测与报警方法。

技术介绍

[0002]智慧矿山建设主要包括：智慧生产系统、智慧职业健康与安全系统、智慧技术支持与后勤保障系统建设。皮带运输机是井下运输系统的重要组成部分，在矿山的生产运输环节中发挥着重要作用。由于生产管理措施或矿工安全意识方面的因素，可能会导致皮带输送机事故发生，如何在皮带输送区域进行一些不符合安全生产规范行为的检测，在亟待解决的问题。这需要定期对矿场道路模型进行精确化的更新搭建，然而这种更新与搭建因路况复杂而较难实现。

技术实现思路

[0003]为了克服上述现有技术的缺点，本专利技术的目的在于提供一种基于改进YOLOv5的不安全行为检测与报警方法，旨在对矿山中尤其是皮带运输机区域的人员的不安全行为(例如是否安全穿戴装备等)进行检测，借助相应图片对一些不安全行为进行预警与限制，以达到安全生产的目的，实现更加高效快速实时有效的监督。
[0004]为了实现上述目的，本专利技术采用的技术方案是：
[0005]一种基于改进YOLOv5的皮带运输区域不安全行为检测与报警方法，包括如下步骤：
[0006]步骤1，确定皮带运输区域的危险因素；
[0007]步骤2，建立皮带运输区域数据集；
[0008]步骤3，采用YOLOv5模型，为其增加小目标检测层；
[0009]步骤4，替换所述YOLOv5模型的骨干网络为ShuffleNetV2；
[0010]步骤5，将所述YOLOv5模型的特征融合层由PANET修改为BIFPN；
[0011]步骤6，为所述YOLOv5模型添加注意力机制(SENet)，得到改进的YOLOv5模型作为检测模型；
[0012]步骤7，利用所述皮带运输区域数据集训练该检测模型；
[0013]步骤8，利用训练好的检测模型进行不安全行为检测，并根据检测结果进行报警。
[0014]与现有技术相比，本专利技术建立了矿山皮带运输机区域的人员不安全行为检测模型，对相关行为快速而且准确地实时监测，并进行实时截图，以使得皮带运输机保持安全状态运行。本专利技术采用改进的YOLOv5模型构建检测模型，提高了检测速度和时效性，极大地改善了目前皮带运输的困境。考虑到矿山皮带运输的复杂性，旨在通过矿山人的不安全行为检测以及安全穿戴装备检测，满足矿山安全生产的要求。
附图说明
[0015]图1是本专利技术危险行为确定流程示意图。
[0016]图2是本专利技术运行流程。
[0017]图3是shufflenetv2的结构图。
具体实施方式
[0018]下面结合附图和实施例详细说明本专利技术的实施方式。
[0019]如图1和图2所示，本专利技术提出了皮带运输区域的不安全行为检测与报警方法，基于改进YOLOv5模型实现，主要用于矿山等行业中，该方法的实施过程主要包含以下步骤：
[0020]步骤1，确定皮带运输区域的危险因素。
[0021]常见危险因素主要包括攀爬皮带运输机、脚搭皮带运输机、倚靠皮带运输机、抛扔杂物、手搭皮带运输机、摘安全帽、吸烟等。本专利技术将这些危险因素分为连续动作和特殊行为，其中摘安全帽、抛扔杂物和吸烟是连续动作，直接收集相关的动作进行学习训练就可以识别，而攀爬皮带运输机、脚搭皮带运输机、倚靠皮带运输机、手搭皮带运输机是特殊行为，虽然也可以进行标记学习，但是标记比较复杂，而且识别效果也不好。
[0022]在本专利技术中，危险因素作为数据集的标注类型；相应的不安全行为即标注内容。
[0023]步骤2，建立皮带运输区域数据集，包括：
[0024]步骤2.1，数据收集
[0025]本专利技术进行自建数据集，数据来源于网络收集和线下收集。其中，网络收集，是从网上的安全教育视频中收集其模拟的危险因素。具体地，可从相应行业企业的官网、政府安全教育官网下载相关视频。线下收集，则是到皮带运输区域实地拍摄采集危险因素。对于采集的视频，通过设定截取间隔，截取若干有效图像，剔除没有检测目标的图像，并放入不存在检测目标的负样本作为背景图片。
[0026]加入自建数据集，可以使模型学习到相应背景的环境特征，加强模型的泛化能力，减少设备和周围环境的影响，最终使模型具有较强的鲁棒性。在本专利技术的实施例中，对所收集到的视频采取每2S取1帧的措施，共截取有效图像5500张。部分不存在检测目标的样本也被收集、整理后放入数据集(约占全部样本的5％)，作为负样本。
[0027]步骤2.2，数据处理
[0028]收集图片是建立皮带运输区域数据集的第一步，之后还需要对收集的图片数据集进行标注。数据图片来自于网络数据集，在本实施例中，统一其分辨率为640*480。
[0029]先将图片按照危险因素类型标注，即，将图片标注成攀爬皮带运输机、脚搭皮带运输机、倚靠皮带运输机、抛扔杂物、手搭皮带运输机、未带安全帽、吸烟等等类型。训练过程中，预处理网络会将数据统一压缩至640*640，采用图像压缩的方法对数据的有效性影响不大，但在一定程度上可以提高整体训练效率。数据集使用LabelImg工具对本课题中的数据手动进行标注。
[0030]完成标注后生成XML文件，XML文件包含图片名称、图片路径、目标标签名称以及目标位置坐标等重要信息。在voc文件夹下创建annotations、jpegimages、imagesets三个文件夹用来存储图片和标签。annotations文件夹中存储每一个标签xml文件，jpegimages文件夹中存储所有图片，使用python脚本将创建好的voc格式的数据集随机按照8：2划分为训
练集和测试集。
[0031]步骤3，采用YOLOv5模型并进行改进。
[0032]步骤3.1，为YOLOv5模型增加小目标检测层。
[0033]由于场所可能距离监控比较远，安全帽等穿戴设备或其它的一些具体危险行为会变成很小的目标，然而传统的YOLO对小目标检测效果不好，原因是小目标样本的尺寸较小，而YOLOv5的下采样倍数比较大，较深的特征图很难学习到小目标的特征信息，因此本专利技术提出增加小目标检测层，对较浅特征图与深特征图拼接后进行检测。同时，由于在皮带运输场景下，工作人员遍布皮带运输区域的远近高低各个层次、各个角落，所以映射到图像中的危险行为也有着众多不同大小的尺度，尤其是包含着多个安全帽目标的密集图像。一幅密集图可能包含着大尺度、中尺度、小尺度、极小尺度等众多安全帽目标。因此，为了应对复杂的密集场景，本专利技术在原始YOLOv5s三个检测层的基础上，又增加了一个检测层。
[0034]具体的增加方法如下：
[0035](1)YOLOv5模型的anchors参数共有三行，每行9个数值，在本实施例中，这三行是YOLOv5中预设640乘640大小图像的锚框尺寸；且每一行代表应用不同的特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进YOLOv5的皮带运输区域不安全行为检测与报警方法，其特征在于，包括如下步骤：步骤1，确定皮带运输区域的危险因素；步骤2，建立皮带运输区域数据集；步骤3，采用YOLOv5模型，为其增加小目标检测层；步骤4，替换所述YOLOv5模型的骨干网络为ShuffleNetV2；步骤5，将所述YOLOv5模型的特征融合层由PANET修改为BIFPN；步骤6，为所述YOLOv5模型添加注意力机制(SENet)，得到改进的YOLOv5模型作为检测模型；步骤7，利用所述皮带运输区域数据集训练该检测模型；步骤8，利用训练好的检测模型进行不安全行为检测，并根据检测结果进行报警。2.根据权利要求1所述基于改进YOLOv5的皮带运输区域不安全行为检测与报警方法，其特征在于，所述步骤1，危险因素包括连续动作和特殊行为，所述连续动作包括摘安全帽、抛扔杂物和吸烟；所述特殊行为包括攀爬皮带运输机、脚搭皮带运输机、倚靠皮带运输机和手搭皮带运输机；所述危险因素作为数据集的标注类型；相应的不安全行为即标注内容。3.根据权利要求1所述基于改进YOLOv5的皮带运输区域不安全行为检测与报警方法，其特征在于，所述建立皮带运输区域数据集包括数据收集和数据处理；所述数据收集的方法为：自建数据集，数据来源于网络收集和线下收集；所述网络收集，是从网上的安全教育视频中收集其模拟的危险因素；所述线下收集，是到皮带运输区域实地拍摄采集危险因素；对于采集的视频，通过设定截取间隔，截取若干有效图像，剔除没有检测目标的图像，并放入不存在检测目标的负样本作为背景图片；所述数据处理的方法为：将图片按照危险因素类型标注，标注后生成XML文件，其中XML文件包含图片名称、图片路径、目标标签名称以及目标位置坐标；在voc文件夹下创建annotations、jpegimages、imagesets三个文件夹用来存储图片和标签；annotations文件夹中存储每一个标签xml文件，jpegimages文件夹中存储所有图片，使用python脚本将创建好的voc格式的数据集随机按照8：2划分为训练集和测试集。4.根据权利要求1所述基于改进YOL...

【专利技术属性】
技术研发人员：顾清华，何鑫鑫，江松，阮顺领，李学现，王倩，陈露，
申请(专利权)人：西安建筑科技大学，
类型：发明
国别省市：