一种基于端侧的组合式安全帽佩戴实时检测方法技术

本发明专利技术公开了一种基于端侧的组合式安全帽佩戴实时检测方法，所述方法基于采用组合式的卷积神经网络结构通过多模块的组合实现安全帽佩戴的实时检测与识别；所述组合式的卷积神经网络结构采用多个网络模块前后关联的组合的形式，包括人脸检测模块、图像相似变换模块以及安全帽检测模块采用人脸检测，人脸区域校准，安全帽佩戴多分类的方法，具有较高的准确性，误检率低，并且模型能够实现在端侧实时检测。本方法可以对各模块分别进行训练和测试，降低了训练复杂度和运行时间；模型间松耦合，可以根据需求自由替换。并在自建数据集和实际应用中验证了方法的有效性和较高的准确度。度。度。

【技术实现步骤摘要】
一种基于端侧的组合式安全帽佩戴实时检测方法


[0001]本专利技术涉及计算机视觉领域，具体涉及一种基于端侧的组合式安全帽佩戴实时检测方法。

技术介绍

[0002]安全帽在作业场所的作用不言而喻。国家《安全生产法》规定，“生产经营单位必须为从业人员提供符合国家标准或者行业标准的劳动防护用品，并监督、教育从业人员按照使用规则佩戴、使用”；同时，行业内也制定了相关标准保障员工的安全生产，例如：《JGJ59
‑
99建筑施工安全检查标准》规定，进入施工现场必须戴安全帽；各行业的作业规范也对佩戴安全帽做了严格的规定。
[0003]但我们可以看到，尽管国家、企业双管齐下，通过法律法规来加强安全管理，可并非每个人都自觉遵守这一规定，甚至部分人认为自己只是在工地呆几分钟，一时不戴安全帽不会有危险，就像一些乘客不喜欢系安全带一样，而悲剧往往就发生在这一瞬间。从种种事故中，我们发现解决问题的关键点在于：及时、准确向未佩戴安全帽的工人发出警告。在这一管理中，以前则是通过监督人员巡查或观看视频来杜绝违规现象，但由于点多面广，人力物力不到位，出现疏漏也在所难免。
[0004]现有对于安全帽佩戴的检测大多是一个检测网络，网络的很大，并且需要对安全帽进行特殊标注。这带来两个问题，一是对于安全帽佩戴需要一个单独的检测网络需要端侧算力支持；二是需要数据集的标注支持。

技术实现思路

[0005]为了解决上述
技术介绍
所存在的技术问题，本专利技术提供一种基于端侧的组合式安全帽佩戴实时检测方法。
[0006]为实现上述目的，本专利技术的技术方案是：
[0007]一种基于端侧的组合式安全帽佩戴实时检测方法，所述方法基于采用组合式的卷积神经网络结构通过多模块的组合实现安全帽佩戴的实时检测与识别；
[0008]所述组合式的卷积神经网络结构采用多个网络模块前后关联的组合的形式，包括人脸检测模块、图像相似变换模块以及安全帽检测模块；
[0009]所述人脸检测模块用于在所输入的图象中检测出人脸，并输出人脸关键点信息；
[0010]所述图像相似变换模块以人脸检测模块所输出的人脸关键点信息为输入，相似变换得到人脸区域图片作为输出；
[0011]所述安全帽检测模块以图像相似变换模块所输出的人脸区域图片作为输入，对人脸区域图片进行分类，输出安全帽佩戴检测结果。
[0012]进一步地，所述人脸检测模块、图像相似变换模块以及安全帽检测模块的训练数据集、训练和指标相互独立。
[0013]进一步地，所述安全帽检测模块采用预训练的ResNet18模型，训练样本图片分类
包含四个类别：1.安全帽，2.其它硬质头盔，3.普通帽子或其它局部遮挡，4.原始头部。
[0014]进一步地，所述人脸检测模块采用RetinaFace算法，所输出的人脸关键点信息包括人脸框以及双眼，鼻子以及两个嘴角的坐标信息。
[0015]进一步地，所述图像相似变换模块相似变换得到224*224的人脸区域图片。
[0016]本专利技术与现有技术相比，其有益效果在于：
[0017]本专利技术采用模块化组合检测网络，检测与分类组合进行，有利于嵌入现有人脸检测网络的业务逻辑当中，分类网络模型小，在端侧运行速度快，对于现有系统的影响和成本都很小；本网络采用“RetinaFace+SimilarityTransform+ResNet18”组合式结构，通过人脸关键点对于图片的相似变换，实现了模型间组合的接口化，在训练中可以分别训练，甚至可以采用根据具体硬件优化的不同模型，加快推理速度，在保持高准确率的情况下可以实现实时的运行速度；模型训练对硬件的要求低，每个人都可以使用1080Ti或2080TiGPU来训练一个超级快速和准确的目标检测分类器；本方法多分类方法实现安全帽佩戴检测问题，AUC指标相较二分类方法有提升。
附图说明
[0018]图1为本专利技术实施例提供的基于端侧的组合式安全帽佩戴实时检测方法的总体框架流程图；
[0019]图2为本专利技术实施例所使用的安全帽佩戴数据集类别示意图；
[0020]图3为相似变换的人脸区域校准图。
具体实施方式
[0021]实施例：
[0022]下面结合附图和实施例对本专利技术的技术方案做进一步的说明。
[0023]由于端侧算力限制，不能实时运行多个检测网络。本申请通过现有人脸检测网络，组合式的加入安全帽佩戴的分类网络实现安全帽佩戴检测的解决方案。
[0024]参阅图1所示，本实施例提供的基于端侧的组合式安全帽佩戴实时检测方法基于采用组合式的卷积神经网络结构通过多模块的组合实现安全帽佩戴的实时检测与识别；该组合式的卷积神经网络结构采用多个网络模块前后关联的组合的形式，包括人脸检测模块、图像相似变换模块以及安全帽检测模块；每一阶段的模块的训练数据集、训练和指标相互独立。
[0025]该人脸检测模块用于在所输入的图象中检测出人脸，并输出人脸关键点信息，包括人脸框以及双眼，鼻子以及两个嘴角的坐标信息，采用RetinaFace网络进行人脸检测，具有较高的召回率。
[0026]该图像相似变换模块以人脸检测模块所输出的人脸关键点信息为输入，相似变换到224*224的(80.4419133.54445),(133.2977133.2521),(107.0378163.6049),(85.32395194.54825),(129.09485194.30615)五个点，得到人脸区域图片作为输出。采用相似变换的图像处理方法，降低不同视角透视，位置对网络识别带来的影响
[0027]该安全帽检测模块以图像相似变换模块所输出的人脸区域图片作为输入，对人脸区域图片进行分类，输出安全帽佩戴检测结果，包括佩戴安全帽、佩戴硬质头盔，佩戴帽子
或其它遮挡，无遮挡人脸四个分类。相较简单的二分类判断，有很低的误识别率
[0028]也就是说，本方法采用的组合网络式的方法，通过既有的人脸检测网络，获得人脸的区域信息和关键点信息，由该信息对于原始图片进行相似变换，得到分类网络的输入，从而实现人员安全帽的佩戴检测。本方法能够最大程度的利用既有端侧的模型，只嵌入一个图形相似模块和一个小型分类网络，串联形成流水线式的图形处理流，在不改变已有架构的同时又能够节约算力。
[0029]本专利技术采用模块化组合检测网络，检测与分类组合进行，有利于嵌入现有人脸检测网络的业务逻辑当中，分类网络模型小，在端侧运行速度快，对于现有系统的影响和成本都很小；本网络采用“RetinaFace+SimilarityTransform+ResNet18”组合式结构，通过人脸关键点对于图片的相似变换，实现了模型间组合的接口化，在训练中可以分别训练，甚至可以采用根据具体硬件优化的不同模型，加快推理速度；模型训练对硬件的要求低，每个人都可以使用1080Ti或2080TiGPU来训练一个超级快速和准确的目标检测分类器；本方法多分类方法实现安全帽佩戴检测问题，AUC指标相较二分类方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于端侧的组合式安全帽佩戴实时检测方法，其特征在于，所述方法基于采用组合式的卷积神经网络结构通过多模块的组合实现安全帽佩戴的实时检测与识别；所述组合式的卷积神经网络结构采用多个网络模块前后关联的组合的形式，包括人脸检测模块、图像相似变换模块以及安全帽检测模块；所述人脸检测模块用于在所输入的图象中检测出人脸，并输出人脸关键点信息；所述图像相似变换模块以人脸检测模块所输出的人脸关键点信息为输入，相似变换得到人脸区域图片作为输出；所述安全帽检测模块以图像相似变换模块所输出的人脸区域图片作为输入，对人脸区域图片进行分类，输出安全帽佩戴检测结果。2.如权利要求1所述的基于端侧的组合式安全帽佩戴实时检测方法，其特征在于，所述人脸检测模块、图像相似变换模块以及安全帽检测模块的训练数据集、训练和指标相互独立。3.如权利要求1所述的基于端侧的组合式安全帽佩戴实时检测方法，其特征在于，所述安全帽检测模块采用ResNet18模型。4.如权利要求3所述的基于端侧的组合式安全帽佩戴实时检测方法，其特征在于，ResNet18模型的训练样本图片分类包含四个类别：1.安全帽，2.其它硬质头盔，3.普通帽子或其它局部遮挡，4.原始头部。5.如权利要求1所述的基于端侧的组合式安全帽佩戴实时检测方法，其特征在于，所述人脸检测模块采用RetinaFace算法。6.如权利要求5所述的基于端侧...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：珠海亿智电子科技有限公司，
类型：发明
国别省市：