【技术实现步骤摘要】
本专利技术涉及图像，具体涉及一种基于卷积神经网络的非机动车违规载人行为检测方法。
技术介绍
1、目标检测是计算机视觉领域中的热门问题，它通常应用在人脸识别，文本识别，行人检测，遥感检测，工业检测等领域；斑马线礼让行人是道路交通安全的重要组成部分，解决斑马线礼让行人问题对构建安全和谐社会有着重大的意义。
2、智慧交通系统通过使用各种感知技术，如传感器、摄像头、雷达等，可以实时获取道路、车辆和行人等交通要素的信息。这些感知技术可以帮助交通管理者更好地了解交通状况，提供实时的交通信息。非机动车在交通中扮演着重要的角色，在城市交通中占用空间小，可以更好地适应城市道路的狭窄和拥堵情况。同时非机动车购买价格及充电成本相对于燃油车的加油成本更低廉，越来越多的人选择非机动车为出行代步工具。而随着非机动车的增多，非机动车违规带人现象日益增加，非机动车违规带人不仅违反交通规则，危害个人及他人安全，还造成交通拥堵等现象。
3、基于图像完成非机动车目标检测的方法，以两阶段算法r-cnn、一阶段算法ssd和yolo系列使用频率较高。两阶段算法可以提高检测准确度，但其检测速度相对较慢且对于复杂情况的检测有限。相比之下，一阶段算法计算速度快，但泛化能力较差，目标相互间重叠较多时，小目标检测的精准度较低且漏检率较高。
技术实现思路
1、鉴于以上所述现有技术的缺点，本专利技术提供基于卷积神经网络的非机动车违规载人行为检测方法。进一步提升模型的性能以获得更好的检测效果，根据检测识别结果，判断非
2、为实现上述效果，本专利技术的技术方案如下：
3、第一方面，本专利技术提供基于卷积神经网络的非机动车违规载人行为检测方法，包括以下步骤：
4、步骤1：获取监控视频，采集监控视频中的违规行为图像，生成行为数据集，对行为数据集进行标注；
5、步骤2：将改进的yolov5网络模型作为行人目标检测模型：以yolov5网络模型为基本架构在backbone网络的c3层后添加cbam注意力机制模块；在neck网络的c3层后添加swin-transformer编码器；改进后的yolov5网络模型包括backbone网络、neck网络、head网络；其中，backbone网络包括依次连接的第一cbs卷积层、第二cbs卷积层、第一c3层、第一cbam注意力机制模块、第三cbs卷积层、第二c3层、第二cbam注意力机制模块、第四cbs卷积层、第三c3层、第三cbam注意力机制模块、第五cbs卷积层、第四c3层、第四cbam注意力机制模块、sppf模块；
6、neck网络包括依次连接的第六cbs卷积层、第一concat模块、第五c3层、第七cbs卷积层、第二concat模块、第六c3层、第一swin-transformer编码器、第八cbs卷积层、第三concat模块、第七c3层、第二swin-transformer编码器、第九cbs卷积层、第四concat模块；
7、步骤3：所述backbone网络对导入的违规行为图像进行特征提取操作，通过第二cbam注意力机制模块、第三cbam注意力机制模块、sppf模块依次得到第一特征图、第二特征图和第三特征图；
8、所述neck网络对第三特征图依次进行四次上采样处理，在上采样过程中，四次上采样结果按照自下而上的顺序分别和第二特征图、第一特征图进行融合，分别得到第一融合特征图、第二融合特征图；
9、第二融合特征图经过第六c3层、第一swin-transformer编码器进行特征处理，得到第一输出特征图，第一输出特征图进入检测模块；
10、所述第一输出特征图再依次进行两次下采样处理，在下采样过程中，两次下采样结果按照自上而下的顺序分别与第七cbs卷积层输出的特征图、第六cbs卷积层输出的特征图进行融合，分别得到第二输出特征图、第三输出特征图，进入检测模块；
11、所述检测模块结合第一输出特征图、第二输出特征图、第三输出特征图；
12、步骤4：利用预设的sort跟踪算法对监控视频中的行人目标进行追踪，使用训练好的yolov5网络模型对待测数据集进行检测，识别得到非机动车违规载人行为检测结果。
13、进一步的，步骤1所述违规行为图像包括非机动车违规载人图像。
14、进一步的，步骤1所使用的数据集，通过放置于交通路口的摄像头现场拍摄的监控视频所得；在监控视频中采集违规行为图像，使用vott标注工具对违规行为图像进行人工标注，数据集标注分两次进行；对非机动车与行人目标进行标注，标注类别分为non-motor-vehicle和pedestrian，数据集用来识别非机动车和行人目标；第二次标注类别为head，表示行人头部目标。
15、进一步的，所述cbs卷积层均由二维卷积、bn层和silu激活函数组成，silu激活函数用于增加输入的违规行为图像的非线性。
16、进一步的，，所述c3层均由三个conv模块和一个bottleneck网络组成，通过降维使卷积核更好地理解特征信息；使用残差结构，将输入与输出相加，避免梯度消失的问题。
17、进一步的，所述swin-transformer编码器包括依次连接的patch partition模块、stage1模块～stage4模块；
18、stage1模块包括依次连接的linear embedding模块、堆叠的两个swintransformer block模块；
19、stage2模块、stage4模块均包括依次连接的patch merging模块、堆叠的两个swintransformer block模块；
20、stage3模块包括依次连接的patch merging模块、堆叠的六个swin transformerblock模块；
21、且违规行为图像大小为h×w×3；
22、将维数为h×w×3的违规行为图像输入到swin-transformer编码器将空间信息转变为通道信息，通过patch partition模块将违规行为图像分成维数为h/4×w/4×48的张量，linear embedding模块对每个违规行为图像的切片进行拉直与线性变换，将维度为h/4×w/4×48的张量投影到维度c，得到维度为h/4×w/4×c的特征张量，并输入到堆叠的两个swin transformer block模块进行特征学习，获取学习后的特征图；
23、swin transformer block模块包括w-msa模块和sw-msa模块，w-msa模块将切片进行窗口化，使切片在固定窗口进行注意力计算；使用sw-msa模块，将窗口向右下角移动与相邻窗口进行跨窗口的信息融合；由stage2模块的patch merging模块进行无卷积下采样得到维数为h/8×w/8×2c特征张量，h/8×w/8×2c特征张量进入stage3本文档来自技高网...
【技术保护点】
1.一种基于卷积神经网络的非机动车违规载人行为检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，步骤1所使用的数据集，通过放置于交通路口的摄像头现场拍摄的监控视频所得；在监控视频中采集违规行为图像，使用Vott标注工具对违规行为图像进行人工标注，数据集标注分两次进行；对非机动车与行人目标进行标注，标注类别分为Non-Motor-Vehicle和Pedestrian，数据集用来识别非机动车和行人目标；第二次标注类别为head，表示行人头部目标。
3.根据权利要求1所述的方法，其特征在于，所述CBS卷积层均由二维卷积、BN层和silu激活函数组成，silu激活函数用于增加输入的违规行为图像的非线性。
4.根据权利要求1所述的方法，其特征在于，所述C3层均由三个Conv模块和一个BottleNeck网络组成，通过降维使卷积核更好地理解特征信息；使用残差结构，将输入与输出相加，避免梯度消失的问题。
5.根据权利要求1所述的方法，其特征在于，所述Swin-Transformer编码器包括依次连接的Patch pa
6.根据权利要求2所述的方法，其特征在于，步骤4所述利用预设的SORT跟踪算法对监控视频中的行人目标进行追踪，包括：
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现权利要求1～6任一项所述方法的步骤。
...【技术特征摘要】
1.一种基于卷积神经网络的非机动车违规载人行为检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，步骤1所使用的数据集，通过放置于交通路口的摄像头现场拍摄的监控视频所得；在监控视频中采集违规行为图像，使用vott标注工具对违规行为图像进行人工标注，数据集标注分两次进行；对非机动车与行人目标进行标注，标注类别分为non-motor-vehicle和pedestrian，数据集用来识别非机动车和行人目标；第二次标注类别为head，表示行人头部目标。
3.根据权利要求1所述的方法，其特征在于，所述cbs卷积层均由二维卷积、bn层和silu激活函数组成，silu激活函数用于增加输入的违规行为图像的非线性。<...
【专利技术属性】
技术研发人员：朱硕，孙佳豪，张绪康，刘政达，宾杰，梁吉丰，汪宗洋，
申请(专利权)人：无锡学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。