【技术实现步骤摘要】
本专利技术属于工地安全检测，具体涉及一种基于yolov8和transformer编码器相结合的工地安全检测系统及方法。
技术介绍
1、工地施工作业过程中，存在着较多安全隐患，安全事故的发生率居高不下。在长期的实践论证中，人工巡检的效率极低，很依赖于现场经验丰富的管理人员，需要他们实时的进行观察和检查，又费时又费力，存在着自动化水平较低、工作量较大和检查项目有限的情况，极容易出现漏检等情况，造成安全隐患。
2、而近年来，图像识别技术取得了重大进展，但传统的图像识别系统在处理工地现场的小目标时，往往受限于网络结构和算法效率，难以实现快速准确的识别。yolov8虽然在目标检测领域有所突破，但在小目标识别方面仍有改进空间。transformer编码器在特征提取方面表现出色，但其如何与图像信息充分整合仍有研究空间。传统方法将图像简单分割后向量化输入到transformer编码器，损失了图像的部分信息，因此无法有效应用于工地安全检测，获取准确的检测结果。
技术实现思路
1、本专利技术针对现有技术下的问题，提供了一种基于yolov8和transformer编码器相结合的工地安全检测系统及方法，本专利技术旨在通过结合yolov8和transformer编码器这两种技术，并引入独创的sppfs模块，解决现有技术中的不足。
2、为了达到上述目的，本申请采用的技术方案为：
3、第一方面，本专利技术提供了一种基于yolov8和transformer编码器相结合的工地安全
4、工地安全图像采集模块，用于在工地采集图像，并收集传回的图像数据；
5、图像数据标注与数据集划分模块，对图像数据进行标注，将图像数据划分训练集、验证集及测试集；
6、神经网络模型，基于改进的sppfs模块插入yolo v8l模型的主干网络，将主干网络的输出向量转换为高维向量，高维向量接入transformer编码器，transformer编码器的输出接入多层感知器，多层感知器用于对潜在的安全情况进行检测及分类；通过训练集对神经网络模型进行训练，训练主干网络的卷积层参数，transformer编码器的参数及模型尾部多层感知器参数；使用验证集对模型进行调优，获得训练完成的模型；利用测试集对训练完成的模型进行测试，获取输出；测试通过的模型用于对工地现场图像进行处理，识别潜在的安全风险。
7、进一步的，所述神经网络模型完整的网络结构为：图像输入-cbs-cbs-c2f-cbs-c2f-cbs-c2f-sppfs-transformer编码器-多层感知器-输出。
8、进一步的，cbs模块由conv, bn, silu模块构成，结构为：conv-bn-silu。
9、进一步的，c2f模块由conv, split, bottleneck, concat模块构成，结构为：conv-split-bottleneck_1-bottleneck_2-concat-conv。
10、进一步的，sppfs模块由sppf特征金字塔模块改进，sppfs模块由conv,maxpooling_1, maxpooling_2, concat, conv模块组成，其中，conv, maxpooling_1,maxpooling_2分别与concat层相连。
11、进一步的，bottleneck模块为两层conv和一层concat模块顺次连接，并且模块输入与concat相连。
12、进一步的，主干网络和transformer编码器的连接方式为，将主干网络的2020512格式转换为400个512维的向量，输入到transformer编码器运算。
13、第二方面，本专利技术提供了一种如第一方面所述的基于yolov8和transformer编码器相结合的工地安全检测系统的工作方法，包括：
14、通过工地安全图像采集模块在工地采集图像，并收集传回的图像数据；
15、通过图像数据标注与数据集划分模块对图像数据进行标注，将图像数据划分训练集、验证集及测试集；
16、通过神经网络模型对工地现场图像进行处理，识别潜在的安全风险；神经网络模型预先通过训练集进行训练，使用验证集对模型进行调优，利用测试集对训练完成的模型进行测试，获取输出。
17、与现有技术相比，本专利技术的优点和积极效果在于：
18、本专利技术融合了yolov8和transformer编码器在特征提取方面的优势，精简了yolov8主干网络以平衡精度和效果，优化sppfs模块以弱化对大目标的特征提取能力，换来更快的速度和对小目标的精确检测，具体是将基于sppf模块改进的sppfs模块插入yolov8l模型的主干网络的尾部，以替换原有的sppf模块；删除主干网络尾部的cbs模块和c2f模块，直接接入sppfs模块；将主干网络的输出向量由4040512的特征向量展平，转换为1600个512维的高维向量以满足transformer编码器的输入，然后将高维向量接入transformer编码器，然后将编码器的输出接入一个多层感知器，最后多层感知器可以对潜在的安全情况进行检测及分类；改进的yolo v8m主干网络包括cbs模块，c2f模块，sppfs模块，有效提高了对大目标的特征提取能力，提高了检测效率和对小目标的检测精度。
本文档来自技高网...【技术保护点】
1.一种基于YOLOv8和Transformer编码器相结合的工地安全检测系统，其特征在于，包括：
2.根据权利要求1所述的一种基于YOLOv8和Transformer编码器相结合的工地安全检测系统，其特征在于，所述神经网络模型完整的网络结构为：图像输入-CBS-CBS-C2f-CBS-C2f-CBS-C2f-SPPFS-Transformer编码器-多层感知器-输出。
3.根据权利要求2所述的一种基于YOLOv8和Transformer编码器相结合的工地安全检测系统，其特征在于，CBS模块由Conv, BN, SiLU模块构成，结构为：Conv-BN-SiLU。
4.根据权利要求2所述的一种基于YOLOv8和Transformer编码器相结合的工地安全检测系统，其特征在于，C2f模块由Conv, Split, Bottleneck, Concat模块构成，结构为：Conv-Split-Bottleneck_1-Bottleneck_2-Concat-Conv。
5.根据权利要求2所述的一种基于YOLOv8和Transformer编
6.根据权利要求4所述的一种基于YOLOv8和Transformer编码器相结合的工地安全检测系统，其特征在于，Bottleneck模块为两层Conv和一层Concat模块顺次连接，并且模块输入与Concat相连。
7.根据权利要求1所述的一种基于YOLOv8和Transformer编码器相结合的工地安全检测系统，其特征在于，主干网络和Transformer编码器的连接方式为，将主干网络的2020512格式转换为400个512维的向量，输入到transformer编码器运算。
8.一种如权利要求1所述的基于YOLOv8和Transformer编码器相结合的工地安全检测系统的工作方法，其特征在于，包括：
...【技术特征摘要】
1.一种基于yolov8和transformer编码器相结合的工地安全检测系统，其特征在于，包括：
2.根据权利要求1所述的一种基于yolov8和transformer编码器相结合的工地安全检测系统，其特征在于，所述神经网络模型完整的网络结构为：图像输入-cbs-cbs-c2f-cbs-c2f-cbs-c2f-sppfs-transformer编码器-多层感知器-输出。
3.根据权利要求2所述的一种基于yolov8和transformer编码器相结合的工地安全检测系统，其特征在于，cbs模块由conv, bn, silu模块构成，结构为：conv-bn-silu。
4.根据权利要求2所述的一种基于yolov8和transformer编码器相结合的工地安全检测系统，其特征在于，c2f模块由conv, split, bottleneck, concat模块构成，结构为：conv-split-bottleneck_1-bottleneck_2-concat-conv。
5.根据权利要求2所述的一种基于yolov8...
【专利技术属性】
技术研发人员：邵嘉豪，陈其宾，姜凯，张佳宁，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。