基于多任务深度学习的骑行人员未佩戴头盔行为检测方法技术

本发明专利技术公开了一种基于多任务深度学习的电动车骑行人员未佩戴头盔检测方法，涉及计算机视觉领域。该方法采用两个子网络，分别用于检测图像中的非机动车等占据较大区域的对象和骑行人头部区域，两个子网络共享同一个特征提取模块以及特征金字塔网络的部分层次，除此之外，两个子网络还拥有各自的输入模块和检测模块，从而可有效地避免目标大小相差悬殊对检测系统产生的影响。相对于现有技术中使用一个网络同一组权值参数检测大小差异显著的目标时所采用的方法，本发明专利技术能够大大提高对于骑行人员未佩戴头盔行为检测的准确性。人员未佩戴头盔行为检测的准确性。人员未佩戴头盔行为检测的准确性。

【技术实现步骤摘要】
基于多任务深度学习的骑行人员未佩戴头盔行为检测方法


[0001]本专利技术涉及计算机视觉领域，特别涉及一种基于多任务深度学习的电动自行车骑行人员未佩戴头盔行为检测方法。

技术介绍

[0002]物理实验表明，若一辆时速为25公里的电动自行车骑行人发生头部碰撞，骑行人头部将承受相当于两辆小轿车的重量；如果骑行人佩戴了头盔，则头部承受的重量可降低至170公斤左右。所以，要求骑行人佩戴头盔可有效地减少电动自行车交通事故中的伤亡率，保护骑乘人员的生命安全。现有的交通管理系统，通常通过路口管控以人工的方式对未佩戴头盔的电动自行车骑行人进行教育和处理，存在费时费力、效率低下等缺点，在技术层面亟需一种以图像或视频为输入，以算法自动判定骑行人未按规定佩戴头盔，并给出预警的技术和系统。
[0003]中国专利202010644994.6公开了一种结合SSD非机动车检测的边框回归、基于阈值法去除高光、非局部平衡滤波降噪及图像增强等，且基于视频流的非机动车骑行人员头盔佩戴检测方法；中国专利202110160273.2公开了一种基于人像目标头肩位置识别人像是否佩戴头盔的方法，可提高复杂场景下的应用准确性。
[0004]考虑到图像中的非机动车区域面积要远远大于其中的骑行人头部区域，用一个网络的同一组权值参数检测非机动车和骑行人头部区域容易导致检测系统的性能下降，因此如何实现非机动车辆的骑行人员未佩戴头盔行为检测,是目前亟待解决的技术问题。

技术实现思路

[0005]本专利技术的目的在于解决现有技术使用一个网络的同一组权值参数检测大小差异显著的目标时存在的困难，提供一种基于多任务深度学习的电动自行车骑行人员未佩戴头盔行为检测方法。
[0006]本专利技术具体采用的技术方案如下：
[0007]一种基于多任务深度学习的骑行人员未佩戴头盔行为检测方法，该方法包括：
[0008]构建两个子网络B
‑
Net和H
‑
Net，两个子网络之间共享特征提取模块以及用于融合特征提取模块提取的各个层次特征的特征金字塔网络，同时两个子网络还各自具有输入模块和检测模块；
[0009]待检测图像分别输入B
‑
Net和H
‑
Net的输入模块中，由共享的特征提取模块提取不同层级的特征图，并使用特征金字塔网络融合不同层级的特征图，再将融合特征图分别输入到B
‑
Net和H
‑
Net的检测模块，由B
‑
Net的检测模块检测图像中非机动车包围框，由H
‑
Net的检测模块检测图像中包含佩戴或未佩戴头盔两种分类类别的骑行人头部区域包围框；若非机动车包围框和被检测为未佩戴头盔的骑行人头部区域包围框之间满足预设的位置关系，则判定为该骑行人员未佩戴头盔。
[0010]作为优选，所述B
‑
Net和H
‑
Net的输入模块具有相同的结构，按数据前向传播时的
数据流向，输入数据首先经过一个包含64个7
×
7卷积核且卷积步长为2的卷积层，卷积层后接批规范化操作和ReLU激活操作，然后再经过一个采样核大小为3
×
3、进行最大池化操作且步长为2的池化层，池化层之后再经过ResNet101的第1级卷积层组。
[0011]作为优选，所述B
‑
Net和H
‑
Net共享的特征提取模块包含ResNet101的第2、3和4级卷积层组，并且使用特征金字塔网络融合各个卷积层组输出的特征图；
[0012]其中ResNet101的第4级卷积层组的输出特征图C4作为特征金字塔网络最顶层的输入，首先经过一个包含256个1
×
1卷积核且卷积步长为1的卷积层，产生特征图然后经过一个包含256个3
×
3卷积核且卷积步长为1的卷积层，形成特征图P4；
[0013]ResNet101的第3级卷积层组的输出特征图C3在特征金字塔网络中首先经过一个包含256个1
×
1卷积核且卷积步长为1的卷积层，产生的特征图与经上采样操作后形成的特征图进行逐元素的求和运算，产生特征图然后经过一个包含256个3
×
3卷积核且卷积步长为1的卷积层，形成特征图P3；
[0014]ResNet101的第2级卷积层组的输出特征图C2在特征金字塔网络中首先经过一个包含256个1
×
1卷积核且卷积步长为1的卷积层，产生的特征图与经上采样操作后形成的特征图进行逐元素的求和运算，产生特征图然后经过一个包含256个3
×
3卷积核且卷积步长为1的卷积层，形成特征图P2。
[0015]作为优选，所述B
‑
Net和H
‑
Net的检测模块具有相同的结构，该结构包括一个分类子网络和一个回归子网络；
[0016]所述分类子网络包括5个卷积层，前4个卷积层具有相同的结构，均包含256个3
×
3大小的卷积核，卷积步长为1，且每个卷积层后接ReLU激活操作，第5个卷积层包含K
×
A个3
×
3大小的卷积核，卷积步长为1，其中K为分类类别数目，A为预设的每个点的检测框数目，最后以Sigmoid函数为每个检测框输出预测的分类类别；
[0017]所述回归子网络包括5个卷积层，前4个卷积层具有相同的结构，均包含256个3
×
3大小的卷积核，卷积步长为1，且每个卷积层后接ReLU激活操作，第5个卷积层包含4A个3
×
3大小的卷积核，卷积步长为1，其中A为预设的每个点的预设检测框数目，若分类子网络预测某点(m,n)在第i个预设检测框检测到某类目标，其中0≤i＜A，且i为整数，则回归子网络的第5个卷积层的输出特征图中，通道4i和通道4i+1的值分别代表预设检测框中心与实际检测框中心之间宽度方向和高度方向的偏移，通道4i+2和通道4i+3的值分别代表预设检测框宽度和高度与实际检测框宽度和高度的比值。
[0018]作为优选，所述待检测图像的宽和高分别为M和N，待检测图像按照原始大小输入B
‑
Net的输入模块，由特征金字塔网络各个层次输出大小分别为和的特征图P2、P3、P4，三个特征图再分别被输入到B
‑
Net的检测模块，用于在待检测图像中检测非机动车对象。
[0019]进一步的，所述待检测图像的宽和高分别为M和N，待检测图像在长宽方向各放大2倍后输入H
‑
Net的输入模块，经过H
‑
Net的输入模块后产生一个的特征图，记作
F2；
[0020]而待检测图像按照原始大小输入B
‑
Net的输入模块后，经过特征金字塔网络得到的大小为的特征图P2，记作F1；
[0021]将特征图F1在宽度和高度方向进行2倍的上采样后与特征图F2拼接成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务深度学习的骑行人员未佩戴头盔行为检测方法，其特征在于，该方法包括：构建两个子网络B
‑
Net和H
‑
Net，两个子网络之间共享特征提取模块以及用于融合特征提取模块提取的各个层次特征的特征金字塔网络，同时两个子网络还各自具有输入模块和检测模块；待检测图像分别输入B
‑
Net和H
‑
Net的输入模块中，由共享的特征提取模块提取不同层级的特征图，并使用特征金字塔网络融合不同层级的特征图，再将融合特征图分别输入到B
‑
Net和H
‑
Net的检测模块，由B
‑
Net的检测模块检测图像中非机动车包围框，由H
‑
Net的检测模块检测图像中包含佩戴或未佩戴头盔两种分类类别的骑行人头部区域包围框；若非机动车包围框和被检测为未佩戴头盔的骑行人头部区域包围框之间满足预设的位置关系，则判定为该骑行人员未佩戴头盔。2.如权利要求1所述的基于多任务深度学习的骑行人员未佩戴头盔行为检测方法，其特征在于，所述B
‑
Net和H
‑
Net的输入模块具有相同的结构，按数据前向传播时的数据流向，输入数据首先经过一个包含64个7
×
7卷积核且卷积步长为2的卷积层，卷积层后接批规范化操作和ReLU激活操作，然后再经过一个采样核大小为3
×
3、进行最大池化操作且步长为2的池化层，池化层之后再经过ResNet101的第1级卷积层组。3.如权利要求1所述的基于多任务深度学习的骑行人员未佩戴头盔行为检测方法，其特征在于，所述B
‑
Net和H
‑
Net共享的特征提取模块包含ResNet101的第2、3和4级卷积层组，并且使用特征金字塔网络融合各个卷积层组输出的特征图；其中ResNet101的第4级卷积层组的输出特征图C4作为特征金字塔网络最顶层的输入，首先经过一个包含256个1
×
1卷积核且卷积步长为1的卷积层，产生特征图然后经过一个包含256个3
×
3卷积核且卷积步长为1的卷积层，形成特征图P4；ResNet101的第3级卷积层组的输出特征图C3在特征金字塔网络中首先经过一个包含256个1
×
1卷积核且卷积步长为1的卷积层，产生的特征图与经上采样操作后形成的特征图进行逐元素的求和运算，产生特征图然后经过一个包含256个3
×
3卷积核且卷积步长为1的卷积层，形成特征图P3；ResNet101的第2级卷积层组的输出特征图C2在特征金字塔网络中首先经过一个包含256个1
×
1卷积核且卷积步长为1的卷积层，产生的特征图与经上采样操作后形成的特征图进行逐元素的求和运算，产生特征图然后经过一个包含256个3
×
3卷积核且卷积步长为1的卷积层，形成特征图P2。4.如权利要求1所述的基于多任务深度学习的骑行人员未佩戴头盔行为检测方法，其特征在于，所述B
‑
Net和H
‑
Net的检测模块具有相同的结构，该结构包括一个分类子网络和一个回归子网络；所述分类子网络包括5个卷积层，前4个卷积层具有相同的结构，均包含256个3
×
3大小的卷积核，卷积步长为1，且每个卷积层后接ReLU激活操作，第5个卷积层包含K
×
A个3
×
3大小的卷积核，卷积步长为1，其中K为分类类别数目，A为预设的每个点的检测框数目，最后以Sigmoid函数为每个检测框输出预测的分类类别；
所述回归子网络包括5个卷积层，前4个卷积层具有相同的结构，均包含256个3
×
3大小的卷积核，卷积步长为1，且每个卷积层后接ReLU激活操作，第5个卷积层包含4A个3
×
3大小的卷积核，卷积步长为1，其中A为预设的每个点的预设检测框数目，若分类子网络预测某点(m,n)在第i个预设检测框检测到某类目标，其中0≤i＜A，且i为整数，则回归子网络的第5个卷积层的输出特征图中，通道4i和通道4i+1的值分别代表预设检测框中心与实际检测框中心之间宽度方向和高度方向的偏移，通道4i+2和通道4i+3的值分别代表预设检测框宽度和高度与实际检测框宽度和高度的比值。5.如权利要求1所述的基于多任务深度学习的骑行人员未佩戴头盔行为检测方法，其特征在于，所述待检测图像的宽和高分别为M和N，待检测图像按照原始大小输入B
‑
Net的输入模块，由特征金字塔网络各个层次输出大小分别为和的特征图P2、P3、P4，三个特征图再分别被输入到B
‑
Net的检测模块，用于在待检测图像中检测非机动车对象。6.如权利要求5所述的基于多任务深度学习的骑行人员未佩戴头盔...

【专利技术属性】
技术研发人员：陈卫刚，余泽，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：